sqoopを使用してRDBMSからすべてのテーブルをインポート

Question

sqoopを使用してmysqlデータベースのテストからhadoopにデータをインポートしようとしています。しかし、プライマリといくつかのテーブルを持ついくつかのテーブルでは、プライマリキーがありません。

$sqoop import-all-tables --connect jdbc:mysql://192.168.0.101/mysql -username test -P --warehouse-dir /home/user_all_tables 

17/08/01午後十時46分54秒ERROR tool.ImportAllTablesTool：インポート中のエラー： 主キーは、テーブルgeneral_log見つかりませんでした。 --split-byで を指定するか、 '-m 1'で順次インポートしてください。

sqoopコマンドラインでsplit byを使用する方法を教えてください。

Answer 1

有用であるimport-all-tablesツールについては、次の条件を満たす必要があります

• 各テーブルは、単一列の主キーを持たなければなりません。
• 各テーブルのすべての列をインポートする必要があります。
• デフォルト以外の分割カラムを使用したり、WHERE句で条件を指定したりすることはできません。

デフォルトオプションは非プライマリキーテーブルに適合しないため、動作しません。ここでは、-m 1オプションを使用してインポートを1つのマッパーでのみ厳密にすることを提案します。

Sqoopコマンド：

import-all-tables --connect jdbc:mysql://192.168.0.101/mysql -username test \ 
-P --warehouse-dir /home/user_all_tables -m 1