Zeppelin spark innterpretersはしばらくしてからjava.lang.StackOverflowErrorをスローします

Question

私はZeppelinを使用してcrontabでスパークジョブを実行しています。 jdk8、spark1.6.2、scala2.10 しかし最後の日に、私はツェッペリンのスパーク通訳がほぼ毎日シャットダウンしているのを見つけました。 そして、ここでは、それは非常に非常に長いログだっログ

java.lang.StackOverflowError 
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183) 
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638) 
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4197) 
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638) 
at scala.reflect.internal.Types$Type.asSeenFrom(Types.scala:754) 
at scala.reflect.internal.Types$Type.computeMemberType(Types.scala:788) 
at scala.reflect.internal.Symbols$MethodSymbol.typeAsMemberOf(Symbols.scala:2655) 
at scala.reflect.internal.Types$Type.memberType(Types.scala:779) 
at scala.reflect.internal.Types$class.defineUnderlyingOfSingleType(Types.scala:1534) 
at scala.reflect.internal.SymbolTable.defineUnderlyingOfSingleType(SymbolTable.scala:13) 
at scala.reflect.internal.Types$SingleType.underlying(Types.scala:1486) 
at scala.reflect.internal.Types$SingletonType.widen(Types.scala:1340) 
at scala.reflect.internal.Types$AsSeenFromMap.toPrefix$1(Types.scala:4541) 
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4556) 
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183) 
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638) 
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4197) 
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638) 
at scala.reflect.internal.Types$Type.asSeenFrom(Types.scala:754) 
at scala.reflect.internal.Types$Type.computeMemberType(Types.scala:788) 
at scala.reflect.internal.Symbols$MethodSymbol.typeAsMemberOf(Symbols.scala:2655) 
at scala.reflect.internal.Types$Type.memberType(Types.scala:779) 
at scala.reflect.internal.Types$class.defineUnderlyingOfSingleType(Types.scala:1534) 
at scala.reflect.internal.SymbolTable.defineUnderlyingOfSingleType(SymbolTable.scala:13) 
at scala.reflect.internal.Types$SingleType.underlying(Types.scala:1486) 
at scala.reflect.internal.Types$SingletonType.widen(Types.scala:1340) 
at scala.reflect.internal.Types$AsSeenFromMap.toPrefix$1(Types.scala:4541) 
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4556) 
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183) 
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638) 
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4197) 
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4638) 
at scala.reflect.internal.Types$Type.asSeenFrom(Types.scala:754) 
at scala.reflect.internal.Types$Type.computeMemberType(Types.scala:788) 
at scala.reflect.internal.Symbols$MethodSymbol.typeAsMemberOf(Symbols.scala:2655) 
at scala.reflect.internal.Types$Type.memberType(Types.scala:779) 
at scala.reflect.internal.Types$class.defineUnderlyingOfSingleType(Types.scala:1534) 
at scala.reflect.internal.SymbolTable.defineUnderlyingOfSingleType(SymbolTable.scala:13) 
at scala.reflect.internal.Types$SingleType.underlying(Types.scala:1486) 
at scala.reflect.internal.Types$SingletonType.widen(Types.scala:1340) 
at scala.reflect.internal.Types$AsSeenFromMap.toPrefix$1(Types.scala:4541) 
at scala.reflect.internal.Types$AsSeenFromMap.apply(Types.scala:4556) 
at scala.reflect.internal.Types$TypeMap.mapOver(Types.scala:4183) 

........

で、私はこの

export JAVA_HOME=/home/hadoop/jdk 
export MASTER=spark://namenode:7077 
export ZEPPELIN_PORT=10001 
export SPARK_HOME=/home/hadoop/spark-1.6.2-bin-hadoop2.6 
export SPARK_SUBMIT_OPTIONS="--driver-memory 2g --executor-memory 5g --driver-class-path /home/hadoop/spark-1.6.2-bin-hadoop2.6/extlib/oracle-driver.jar:/home/hadoop/spark-1.6.2-bin-hadoop2.6/extlib/phoenix-4.7.0-HBase-1.1-client-spark.jar:/home/hadoop/spark-1.6.2-bin-hadoop2.6/extlib/spark-csv_2.10-1.3.0.jar:/home/hadoop/zeppelin-0.6.0-bin-all/lib/*:/home/hadoop/zeppelin-0.6.0-bin-all/*::/home/hadoop/zeppelin-0.6.0-bin-all/conf:/home/hadoop/zeppelin-0.6.0-bin-all/interpreter/spark/*::/home/hadoop/zeppelin-0.6.0-bin-all/conf:/home/hadoop/zeppelin-0.6.0-bin-all/conf:/home/hadoop/zeppelin-0.6.0-bin-all/lib/zeppelin-interpreter-0.6.0.jar/home/hadoop/zeppelin-0.6.0-bin-all/interpreter/spark/zeppelin-spark-0.6.0.jar" 
export ZEPPELIN_MEM=-Xmx4096m 
export ZEPPELIN_JAVA_OPTS="-Xmx4096m" 

ようENVを調整していたループ のようです

Answer 1

私はその理由を発見しました。

まず、ツェッペリン使用スカラ座2.10.4とスパーク1.6.2使用2.10.6 は、LIB zepplin_home /でのScalaのlibを削除し、第二にScalaのlibariry 2.10.6

を入れて、いつかスパークインタプリタを再起動します他の賢明なすべてのタスクは、唯一のスパークアプリケーションでexcutedされます。時間の流れとして、アプリケーションはメモリの問題によってシャットダウンします。

これで、cronノートブートを追加し、ジョブは古いスパークインタプリタをシャットダウンし、新しいスパークインタプリタを起動します。