小さなサイズのより多くの部分にsqoop

Question

私は10のマッパーでsqoop stmtを持っています。各データが1GBを超えると、全体のデータがハーフープで10個になります。私は、データを複数の小さなファイルに分割したいと思います。10以上のファイルは、それぞれ200MBの50個のファイルのようなものです。しかし、DBのボトルネックの問題のため、私はsqoopで10以上のマッパーを作成することはできません。簡単な解決策があれば教えてください。

Answer 1

ダイレクトモードでの解決方法があります。

あなたは

例（バイトで）--direct-split-sizeを使用することができます：--direct-split-size 200000000意志はおよそのファイルを生成します。 200 MB。

詳細はhereを確認してください。