"FileSystem closed"例外のため、スパークアプリケーションが失敗する

Question

Sparkアプリケーションが "FileSystem closed"例外のために失敗しました。典型的なスタックトレースが最後に取り付けられています。私はいくつかの調査を行い、これはエグゼクティブが停止したことを示します（this post参照）。

これは、大きなシャッフルまたはメモリ不足の例外が原因で発生する可能性がありますが、糸ログにその例外が見つかりませんでした。

私の質問は次のとおりです。

1. それらの例外が発生した場合、どこ私は糸のログでそれらを発見した場合ではないでしょうか？
2. 例外が発生しない場合は、糸ログの調査以外はどうすればよいですか？

ありがとう！同じファイルシステムが誤って閉じます（）を複数回ある

2017-08-21 01:55:10,668 ERROR org.apache.spark.scheduler.LiveListenerBus: Listener EventLoggingListener threw an exception 
java.io.IOException: Filesystem closed 
     at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:837) 
     at org.apache.hadoop.hdfs.DFSOutputStream.flushOrSync(DFSOutputStream.java:2170) 
     at org.apache.hadoop.hdfs.DFSOutputStream.hflush(DFSOutputStream.java:2116) 
     at org.apache.hadoop.fs.FSDataOutputStream.hflush(FSDataOutputStream.java:130) 
     at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:498) 
     at com.pepperdata.common.reflect.b.b(SourceFile:149) 
     at com.pepperdata.common.reflect.b.c(SourceFile:205) 
     at com.pepperdata.supervisor.agent.resource.T.b(SourceFile:102) 
     at com.pepperdata.supervisor.agent.resource.I.hflush(SourceFile:61) 
     at org.apache.spark.scheduler.EventLoggingListener$$anonfun$logEvent$3.apply(EventLoggingListener.scala:140) 
     at org.apache.spark.scheduler.EventLoggingListener$$anonfun$logEvent$3.apply(EventLoggingListener.scala:140) 
     at scala.Option.foreach(Option.scala:236) 
     at org.apache.spark.scheduler.EventLoggingListener.logEvent(EventLoggingListener.scala:140) 
     at org.apache.spark.scheduler.EventLoggingListener.onJobStart(EventLoggingListener.scala:163) 
     at org.apache.spark.scheduler.SparkListenerBus$class.doPostEvent(SparkListenerBus.scala:37) 
     at org.apache.spark.scheduler.LiveListenerBus.doPostEvent(LiveListenerBus.scala:36) 
     at org.apache.spark.scheduler.LiveListenerBus.doPostEvent(LiveListenerBus.scala:36) 
     at org.apache.spark.util.ListenerBus$class.postToAll(ListenerBus.scala:63) 
     at org.apache.spark.scheduler.LiveListenerBus.postToAll(LiveListenerBus.scala:36) 
     at org.apache.spark.scheduler.LiveListenerBus$$anon$1$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(LiveListenerBus.scala:94) 
     at org.apache.spark.scheduler.LiveListenerBus$$anon$1$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply(LiveListenerBus.scala:79) 
     at org.apache.spark.scheduler.LiveListenerBus$$anon$1$$anonfun$run$1$$anonfun$apply$mcV$sp$1.apply(LiveListenerBus.scala:79) 
     at scala.util.DynamicVariable.withValue(DynamicVariable.scala:57) 
     at org.apache.spark.scheduler.LiveListenerBus$$anon$1$$anonfun$run$1.apply$mcV$sp(LiveListenerBus.scala:78) 
     at org.apache.spark.util.Utils$.tryOrStopSparkContext(Utils.scala:1245) 
     at org.apache.spark.scheduler.LiveListenerBus$$anon$1.run(LiveListenerBus.scala:77) 

Answer 1

は、まあ、私はちょうど問題の原因を見つけた：ここ

は糸ログの抜粋です。 close（）を呼び出さないと、例外が消えます。