sqoop export performance問題

Question

sqoopエクスポートを介してHiveからNetezzaにデータをエクスポートする際のパフォーマンス上の問題に直面しています。

sqoopのパフォーマンスを改善する方法はありますか？ sqoop exportコマンドで

columns present in the table(source and destination) : 282 
format of file : text 
no of splits: 99 
data to be exported : 1000 MB 

Answer 1

使用-batch：

は、ここで詳細です。

さらにデータロードを改善するには、--directを使用します。 制限事項：このモードでは、バイナリおよびラージオブジェクトタイプはサポートされていません。

Answer 2

Sqoopジョブに割り当てられるクラスタのサイズと最大スロット数はいくつですか？したがって、-mを与えます。全体の処理時間が長くなります。しかし、sqoopのエクスポートがアトミックプロセスでないことを確認してください。ステージングテーブルを作成し、ステージングテーブルを使用してデータをエクスポートしてください。そうでないと、データが矛盾する可能性があります。