spark NullPointerExceptionはSQLListener.onTaskEndで処理中です

Question

私は、一連の変換を実行するScalaを使用してSparkアプリケーションを作成し、その結果を寄木張りファイルに書き込みます。

変換部は問題なく終了し、結果出力は正しくHDFSに書き込まれます。アプリケーションは、30ノードのYARNクラスターの上で実行されています。

ただし、Sparkアプリケーション自体は完了せず、YARNを終了しません。それはリソースマネージャーに残ります。

約1時間ぶら下がった後（リソースとvcresを消費する）、終了するか、エラーを投げて自分自身を殺します。

ここに、アプリケーションのエラーログがあります。誰かがこの問題について何か光を当てることができればと感謝します。

16/08/24 14:51:12 INFO impl.ContainerManagementProtocolProxy: Opening proxy : phhdpdn013x.company.com:8041 
16/08/24 14:51:22 INFO cluster.YarnClusterSchedulerBackend: Registered executor NettyRpcEndpointRef(null) (phhdpdn013x.company.com:54175) with ID 1 
16/08/24 14:51:22 INFO storage.BlockManagerMasterEndpoint: Registering block manager phhdpdn013x.company.com:24700 with 2.1 GB RAM, BlockManagerId(1, phhdpdn013x.company.com, 24700) 
16/08/24 14:51:29 INFO cluster.YarnClusterSchedulerBackend: SchedulerBackend is ready for scheduling beginning after waiting maxRegisteredResourcesWaitingTime: 30000(ms) 
16/08/24 14:51:29 INFO cluster.YarnClusterScheduler: YarnClusterScheduler.postStartHook done 
16/08/24 15:11:00 ERROR scheduler.LiveListenerBus: Listener SQLListener threw an exception 
java.lang.NullPointerException 
    at org.apache.spark.sql.execution.ui.SQLListener.onTaskEnd(SQLListener.scala:167) 
    at org.apache.spark.scheduler.SparkListenerBus$class.onPostEvent(SparkListenerBus.scala:42) 
    at org.apache.spark.scheduler.LiveListenerBus.onPostEvent(LiveListenerBus.scala:31) 
    at org.apache.spark.scheduler.LiveListenerBus.onPostEvent(LiveListenerBus.scala:31) 
    at org.apache.spark.util.ListenerBus$class.postToAll(ListenerBus.scala:55) 
    at org.apache.spark.util.AsynchronousListenerBus.postToAll(AsynchronousListenerBus.scala:37) 
    at org.apache.spark.util.AsynchronousListenerBus$$anon$1$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(AsynchronousListenerBus.scala:80) 
    at org.apache.spark.util.AsynchronousListenerBus$$anon$1$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply(AsynchronousListenerBus.scala:65) 
    at org.apache.spark.util.AsynchronousListenerBus$$anon$1$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply(AsynchronousListenerBus.scala:65) 
    at scala.util.DynamicVariable.withValue(DynamicVariable.scala:57) 
    at org.apache.spark.util.AsynchronousListenerBus$$anon$1$$anonfun$run$1.apply$mcV$sp(AsynchronousListenerBus.scala:64) 
    at org.apache.spark.util.Utils$.tryOrStopSparkContext(Utils.scala:1181) 
    at org.apache.spark.util.AsynchronousListenerBus$$anon$1.run(AsynchronousListenerBus.scala:63) 
16/08/24 15:11:46 ERROR scheduler.LiveListenerBus: Listener SQLListener threw an exception 
java.lang.NullPointerException 

AA

Answer 1

スパークのバージョンは何ですか？
あなたERRORは、この問題のコードを共有する

https://issues.apache.org/jira/browse/SPARK-12339