Zeppelin 0.6.0はSpark 1.4.1で動作しますか？

Question

スパーク1.4.1（HDP 2.3）のクラスタにZeppelin 0.6.0をインストールしました。 release notesによれば、私はそれがスパーク1.6をサポートしているが、後方互換性があるかどうかはわかりません。 私はノートにsc.versionを実行しようとすると、私はその火花ジョブを見ることができるが、糸に提出されたが、それは次のエラーですぐに失敗しているアプリケーションログにError: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher

マイSPARK_HOMEパスが正しいです。したがって、非互換性の問題をゼロにしてください。

export MASTER=yarn-client   
export SPARK_YARN_JAR=/usr/hdp/current/spark-client/lib/spark-assembly-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar 
export SPARK_HOME=/usr/hdp/current/spark-client 

Answer 1

最後に見つかった解決策です。 Zeppelin 0.6はSpark 1.4.1で動作します。これは通訳者のせいで起きていました。 logs zeppelin-zeppelin-servername.logと.outファイルはこれを解決するのに役立ちました。スパークインタプリタにハイチャートのアーティファクトを追加しましたが、そのjarファイルを見つけることができませんでした。正しいパスを提供した後、ハイチャートを実行してこの問題を解決することができました。