SqoopインポートでJavaヒープサイズのエラーが発生しました

Question

MySQLデータベースからSqoopユーティリティを使用してHiveにデータをインポートしようとしました。私はテーブルを作成し、フェッチサイズを10にしました。コマンドを実行するたびに、Java Heap Size Errorが発生し、ジョブは4回試行した後に強制終了します。どうしたらいいですか？

次のように私のsqoopコマンドは次のとおりです。

sqoop import --connect jdbc:mysql://my_local_ip/mydatabase --fetch-size 10 --username root -P --table table_name --hive-import --compression-codec=snappy --as-parquetfile -m 1 

と私は取得しています：

16/08/29 07:06:24 INFO mapreduce.Job: The url to track the job: http://quickstart.cloudera:8088/proxy/application_1472465929944_0013/ 
16/08/29 07:06:24 INFO mapreduce.Job: Running job: job_1472465929944_0013 
16/08/29 07:06:47 INFO mapreduce.Job: Job job_1472465929944_0013 running in uber mode : false 
16/08/29 07:06:47 INFO mapreduce.Job: map 0% reduce 0% 
16/08/29 07:07:16 INFO mapreduce.Job: Task Id : attempt_1472465929944_0013_m_000000_0, Status : FAILED 
Error: Java heap space 
16/08/29 07:07:37 INFO mapreduce.Job: Task Id : attempt_1472465929944_0013_m_000000_1, Status : FAILED 
Error: Java heap space 
16/08/29 07:07:59 INFO mapreduce.Job: Task Id : attempt_1472465929944_0013_m_000000_2, Status : FAILED 
Error: Java heap space 
16/08/29 07:08:21 INFO mapreduce.Job: map 100% reduce 0% 
16/08/29 07:08:23 INFO mapreduce.Job: Job job_1472465929944_0013 failed with state FAILED due to: Task failed task_1472465929944_0013_m_000000 

Answer 1

は、私は10を処理するために10のマッパーを使用している、最初

sqoop import -Dmapreduce.map.memory.mb=1024 -Dmapreduce.map.java.opts=-Xmx7200m -Dmapreduce.task.io.sort.mb=2400 --connect jdbc:mysql://local.ip/database_name --username root -P --hive-import --table table_name --as-parquetfile --warehouse-dir=/home/cloudera/hadoop --split-by 'id' -m 100 

で試してみてください各チャンクのサイズは100万レコードです。これはエラーの原因となり、100のマッピングジョブを実行したときにデータを正常に処理しました。私が気づいたのは、仕事を完了するのにかかる時間だけです。 100マッパーのすべてのジョブを実行するのにほぼ1時間かかりました。