Sqoopでの$条件の意義

Question

sqoop importコマンドの$ conditions節の意義は何ですか？

select col1, col2 from test_table where \$CONDITIONS 

Answer 1

Sqoopは、Hadoopの並列性を継承することによって、効率的なデータ転送を実行します。

• Sqoopを並列に を転送することができ、複数のチャンクにクエリを分割しやすくするために、あなたは、クエリのWHERE句で$条件のプレースホルダを含める必要があり 。

• Sqoop は、この個々のタスクによって転送されるべきデータの部分を と指定した生成条件で自動的に置き換えます。

• あなたは--num-マッパ1 param- ETERを使用して1つのジョブだけを実行するために、Sqoopを強制することにより、 $条件をスキップすることができますが、このような制限は、パフォーマンスに重大な影響を与えるだろう。例えば

： -

あなたが並行輸入を実行すると、マップタスクは$条件のためで置換異なる値でクエリ を実行します。 1つのマッパー は、「foo WHERE（id> = 0およびid < 10000）からblaを選択」を実行し、次のマッパが「foo WHERE（id> = 10000 AND id < 20000）からblaを選択」を実行する可能性があります。 に。