1
Zeppelin（mvn cleanパッケージ-Pcassandra-spark-1.6 -Dscala-2.11 -DskipTestsでコンパイルされた0.7-0のスナップショット） を外部スタンドアロンで使用しようとしています。スパークのバージョン1.6.1Apache Zeppelin 0.7.0-SNAPSHOTが外部Sparkで動作しない
私はこれをセットアップしようとしました。これは、/zeppelin/conf/zeppelin-env.sh のexport MASTER = spark：// mysparkurl：7077と％spark interpeterの設定の下にあります。 Zeppelin GUI私はまた、spark：// mysparkurl：7077にmaster-parameterを設定しようとしました。
これまでのところ、Sparkへの接続は失敗しています。ここで私は、外部スパーク、私はそれを得るエラーでツェッペリンをテストするために使用しているコードの一部です：ツェッペリンがドッキングウィンドウコンテナ内で実行されている
%spark
val data = Array(1,2,3,4,5)
val distData = sc.parallelize(data)
val distData2 = distData.map(i => (i,1))
distData2.first
data: Array[Int] = Array(1, 2, 3, 4, 5)
Java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.
は、スパークは、ホスト上で実行されています。
ここに何か不足していますか？ Zeppelinが外部のスタンドアロンのSparkで動作するために設定する必要があるものはありますか？
外部スパークもコンパイルしましたか？デフォルトでは、scala-2.10を使用して1.6を起動します。 –
はい、私は外部のスパークをコンパイルしました。スパークルートディレクトリで、私は./dev/change-version-to-2.11.shを実行してから、sbt -Dscala-2.11 clean assemblyを実行しました。起動時に外部のSparkはScalaバージョン2.11.7を使用していると言います（Java HotSpot（TM）64ビットサーバVM、Java 1.7.0_80） – pinkpanther
zeppelinログディレクトリにいくつか手掛かりがあります。特にzeppelin-interpreter-spark-xx .logファイル –