2017-09-13 5 views
0

sqoopは実行のためにどのようにvcoresを取得しますか?私は、4つのマッパーを持つsqoopジョブを提出し、利用可能な約50のvcoresがある場合でもアプリケーションは1つのvcoreから開始します。したがって、parelllizationはありません。これは、テキストファイルへのインポートsqoopジョブです。これらは、vcroreの割り当てに関する糸のコンフィギュレーションパラメタです。 sqoopジョブは、実行のためにどのようにvcoresを取得しますか?ほとんどのデータベース・ソースから並列にsqoopジョブにvcoresを設定する方法

<property> 
<name>yarn.scheduler.maximum-allocation-vcores</name> 
<value>4</value> 
<source>yarn-site.xml</source> 
</property> 

<property> 
<name>yarn.app.mapreduce.am.resource.cpu-vcores</name> 
<value>1</value> 
<source>mapred-default.xml</source> 
</property> 

<property> 
<name>mapreduce.reduce.cpu.vcores</name> 
<value>1</value> 
<source>mapred-default.xml</source> 
</property> 

<property> 
<name>yarn.nodemanager.resource.cpu-vcores</name> 
<value>8</value> 
<source>yarn-default.xml</source> 
</property> 

<property> 
<name>mapreduce.map.cpu.vcores</name> 
<value>1</value> 
<source>mapred-default.xml</source> 
</property> 

<property> 
<name>yarn.scheduler.minimum-allocation-vcores</name> 
<value>1</value> 
<source>yarn-site.xml</source> 
</property> 

<property> 
<name>yarn.scheduler.increment-allocation-vcores</name> 
<value>1</value> 
<source>yarn-site.xml</source> 
</property> 

答えて

0

https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_controlling_parallelismから

Sqoop輸入データ。 -mまたは--num-mappers引き数を使用して、インポートを実行するために使用するマップ・タスク(パラレル・プロセス)の数を指定できます。

マップタスクはvcoresと同じです。

+0

ありがとうございました。私は4つの--num-mappersを提供し、私ができる動作はいくつかの場合、私は4つのvaを1つのマッパーごとに1つずつ割り当てています)、そしていくつかのアプリケーションでは1つのvcoreしか得られませんそこにはそれぞれのマッパーが次々と走っています。なぜこのようなことが起こるのか理解できませんでした。 – Abin

関連する問題