2017-10-31 5 views
0

私が書いた豚のスクリプトは、私のローカルでは4GBのデータで実行されていますが、EMRクラスターで実行しようとすると、特定のグループのステートメントでハングアップしています。 org.apache.tez.dag.app.dag.impl.AMUserCodeException::、エッジを初期化するためにEdgeInfo失敗:私は取得しています...によって引き起こさ豚のスクリプトがグループステートメントでハングアップする

at org.apache.tez.dag.app.dag.impl.VertexImpl$NoOpVertexManager.onVertexStateUpdated(VertexImpl.java:4528) 
    at org.apache.tez.dag.app.dag.impl.VertexManager$VertexManagerEventOnVertexStateUpdate.invoke(VertexManager.java:564) 
    at org.apache.tez.dag.app.dag.impl.VertexManager$VertexManagerEvent$1.run(VertexManager.java:647) 
    at org.apache.tez.dag.app.dag.impl.VertexManager$VertexManagerEvent$1.run(VertexManager.java:642) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698) 
    at org.apache.tez.dag.app.dag.impl.VertexManager$VertexManagerEvent.call(VertexManager.java:642) 
    at org.apache.tez.dag.app.dag.impl.VertexManager$VertexManagerEvent.call(VertexManager.java:631) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) 
    at java.lang.Thread.run(Thread.java:748) 

エラー=スコープ-325 sourceVertexName、destinationVertexName =スコープ(Edge.java:174) at org.apache.tez.dag.app.dag.impl.Edge.setEdgeProperty(Edge。 java:196) at org.apache.tez.dag.app.dag.impl.VertexImpl.setP arallelismWrapper(VertexImpl.java:1724) ... 16 more によって引き起こされた:java.lang.IllegalStateException at com.google.common.base.Preconditions.checkState(Preconditions.java:133) at org.apache.tez .dag.library.vertexmanager.ShuffleVertexManager $ CustomShuffleEdgeManager.initialize(ShuffleVertexManager.java:251) at org.apache.tez.dag.app.dag.impl.Edge.initialize(Edge.java:171) ... 18 OTHER_VERTEX_FAILURE] 頂点vertexName =スコープ、殺さ:より ] 頂点vertexName =スコープ346、vertexId = vertex_1509345097826_0006_1_11、殺され、診断= [頂点が新しい状態にキルを受け、頂点vertex_1509345097826_0006_1_11 [スコープ-346]殺した/起因して失敗しました-344、vertexId = vertex_1509345097826_0006_1_10、diagnostics = [Vertex re Vertex1509345097826_0006_1_09、diagnostics = [頂点がINITED状態でキルを受け取りました、頂点vertex_1509345097826_0006_1_09 [vertexName =スコープ334、vertexId = vertex_1509345097826_0006_1_09] [スコープ-344]が原因で死んだり、失敗しました:OTHER_VERTEX_FAILURE] 頂点が死んで、スコープ334]原因:OTHER_VERTEX_FAILURE] 頂点が殺された、頂点名=スコープ317、頂点ID =頂点1 509345097826_0006_1_02、診断= [頂点がINITED状態でキルを受け取りました、頂点vertex_1509345097826_0006_1_02 [scope-317] [OTHER_VERTEX_FAILURE] 頂点が死んだ、頂点名=スコープ-316、頂点ID =頂点1 509345097826_0006_1_01、diagnostics = [頂点はRUNNING状態でキルを受け取りました、OTHER_VERTEX_FAILURE、failedTasks:0 killedTasks:1、Vertex頂点1509345097826_0006_1_01 [scope-316]原因:OTHER_VERTEX_FAILURE] 頂点が殺され、頂点名=スコープ315、頂点ID =頂点1 509345097826_0006_1_00、診断= [頂点がRUNNING状態でキルを受け、OTHER_VERTEX_FAILURE、失敗したタスクによって頂点が成功しなかった:0キルタスク:68、頂点vertex_1509345097826_0006_1_00 [scope-315]原因:OTHER_VERTEX_FAILURE] VERTEX_FAILUREのためDAGが成功しませんでした。 failedVertices:6死亡:6

答えて

0

実行中の豚のコードは?データと一緒に完全な情報を提供し、豚のコードを完成させる?

関連する問題