複数のマッパーでsqoopインポートを使用して単一ファイルを作成する方法

Question

sqoopインポートを使用してMysqlからデータをインポートしたいが、私の要件は4つのマッパーを使用したいが、hdfsターゲットディレクトリに1つのファイルのみを作成するこれを行う方法？

Answer 1

No. sqoopにファイルを1つのファイルに再パーティション化するオプションはありません。

私はこれがsqoopの頭痛であるとは思わない。

hadoopの機能getmergeを使用すると簡単に行うことができます。例：ここでは

hadoop fs -getmerge /sqoop/target-dir/ /desired/local/output/file.txt 

• /sqoop/target-dirは、あなたのsqoopコマンド（すべての部品ファイルを含むディレクトリ）のtarget-dirです。

• desired/local/output/file.txtは、単一のファイルです。

Answer 2

--num-mappers 1 

をsqoopするには、このオプションを追加sqoopログを示しています。一つのファイルが作成され、HDFS上の

Job Counters 
    Launched map tasks=1 
    Other local map tasks=1 

そして最後に。