40GBのテキストファイルを処理するAWS EMRクラスター（4コアm3.xlarge）でこの問題が発生しました。 FATAL [メイン] org.apache.hadoop.mapred.YarnChild：実行エラー子：java.lang.OutOfMemoryErrorを：JavaヒープスペースはAWS EMRのブタを使用したJavaヒープスペース
それはマップの処理中に発生します。ジョブの開始は数分後に失敗します。 EMR-4.4.0、2.7.1アマゾン、豚0.14.0
私は異なる値でこれらのコマンドを試してみたが、問題がまだ発生します。
- 豚-Dmapreduce.map.javaを。 = -Xmx2304m -Dmapred.child.java.opts = -Xmx3072m script.pig
- 豚-Dmapreduce.map.java.opts = -Xmx3328m -Dmapred.child.java.opts = -Xmx4096m -Dmapreduce.map付き合え.memory.mb = 5120 script.pig
私はIDが不足していますeas ...どのような提案？
2016年3月26日08：05：06087 INFO [メイン] amazon.emr.metrics.MetricsSaver：合計5つの集計値に1凝集HDFSReadBytes 63の生の値を、5 2016年3月26日08：05：17518致命的な[main] org.apache.hadoop.mapred.YarnChild：子の実行中にエラーが発生しました：java.lang.OutOfMemoryError：Javaヒープスペース at java.util.Arrays.copyOf（Arrays.java:2271） at org.apache.hadoop .io.Text.setCapacity（Text.java:266） at org.apache.hadoop.io.Text.append（Text.java:236） at org.apache.hadoop.util.LineReader.readDefaultLine（LineReader.java ：243） at org.apache.hadoop.util.LineReader.readLine（LineReader.java:174） at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.nextKeyValue（L inetRecordReader.java:185） at org.apache.pig.builtin.TextLoader.getNext（TextLoader.java:58） at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigRecordReader.nextKeyValue（PigRecordReader.java： （MapContextImpl.java：80） at org。 apache.hadoop.mapreduce.lib.map.WrappedMapper $ Context.nextKeyValue（WrappedMapper.java:91） at org.apache.hadoop.mapreduce.Mapper.run（Mapper.java:152） at org.apache.hadoop。 mapred.MapTask.runNewMapper（MapTask.java:796） at org.apache.hadoop.mapred.MapTask.run（MapTask.java:342） at org.apache.hadoop.mapred.YarnC $ 2.run（YarnChild.java:172） java.security.AccessController.doPrivileged（ネイティブメソッド） at javax.security.auth.Subject.doAs（Subject.java:415） at org.apache.hadoop。 org.apache.hadoop.mapred.YarnChild.mainでsecurity.UserGroupInformation.doAs（UserGroupInformation.java:1657） （YarnChild.java:166）
2016年3月26日08：05：17621 INFO [メイン] org.apache.hadoop.metrics2.impl.MetricsSystemImpl：MapTaskメトリクスシステムの停止... 2016-03-26 08：05：17,622 INFO [cloudwatch] org.apache.hadoop.metrics2.impl.MetricsSinkAdapter：クラウドウォッチスレッドが中断されました。 2016-03-26 08：05：17,625 INFO [main] org.apache.hadoop.metrics2.impl.MetricsSystemImpl：MapTaskメトリックシステムが停止しました。 2016-03-26 08：05：17,625 INFO [main] org.apache.hadoop.metrics2.impl.MetricsSystemImpl：MapTaskメトリックシステムのシャットダウンが完了しました。
スクリプトを投稿できますか？ – vlahmot