0
sqoopは実行のためにどのようにvcoresを取得しますか?私は、4つのマッパーを持つsqoopジョブを提出し、利用可能な約50のvcoresがある場合でもアプリケーションは1つのvcoreから開始します。したがって、parelllizationはありません。これは、テキストファイルへのインポートsqoopジョブです。これらは、vcroreの割り当てに関する糸のコンフィギュレーションパラメタです。 sqoopジョブは、実行のためにどのようにvcoresを取得しますか?ほとんどのデータベース・ソースから並列にsqoopジョブにvcoresを設定する方法
<property>
<name>yarn.scheduler.maximum-allocation-vcores</name>
<value>4</value>
<source>yarn-site.xml</source>
</property>
<property>
<name>yarn.app.mapreduce.am.resource.cpu-vcores</name>
<value>1</value>
<source>mapred-default.xml</source>
</property>
<property>
<name>mapreduce.reduce.cpu.vcores</name>
<value>1</value>
<source>mapred-default.xml</source>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>8</value>
<source>yarn-default.xml</source>
</property>
<property>
<name>mapreduce.map.cpu.vcores</name>
<value>1</value>
<source>mapred-default.xml</source>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-vcores</name>
<value>1</value>
<source>yarn-site.xml</source>
</property>
<property>
<name>yarn.scheduler.increment-allocation-vcores</name>
<value>1</value>
<source>yarn-site.xml</source>
</property>
ありがとうございました。私は4つの--num-mappersを提供し、私ができる動作はいくつかの場合、私は4つのvaを1つのマッパーごとに1つずつ割り当てています)、そしていくつかのアプリケーションでは1つのvcoreしか得られませんそこにはそれぞれのマッパーが次々と走っています。なぜこのようなことが起こるのか理解できませんでした。 – Abin