Sqoop一度にすべてのテーブルプライマリキーテーブルと非プライマリキーテーブルをインポートする

Question

一度にプライマリとプライマリ以外のプライオリティを持つsqoopを使用してテーブルをインポートできますか？200個のプライマリキーテーブルと200個のnon priamryキーテーブルをhvaingしています。一度に400テーブルずつインポートできますか？

Answer 1

はい、すべてのテーブル（主キーを持つ200とそれを除いた200の両方）のインポートコマンドにフラグ--m 1を追加できます。 あなたのコマンドは次のようなもののようになりますので、このオプションを追加することにより、Sqoopのみ、テーブルからすべてのデータを取得するには1つのマッパーを使用します。ジェイミーの答えに加えて

sqoop import-all-tables --connect your-database --username user --password pwd --m 1 

Answer 2

：

することができますsqoop import-all-tables...コマンドに--autoreset-to-one-mapperタグを追加してください。

コマンドに8つのマッパー（-m 8）を使用しているとします。プライマリキーを持つ上記のタグテーブルを使用すると、マッパーの数に応じて分割され、プライマリキーがないテーブルは1つのマッパーを使用してロードされます。

したがって、全体的に効率が向上します。

詳細については、documentationの第1点を確認してください。