Zookeeper Quorumを使用したSpark ClusterのHAセットアップ

ZarkでSpark HAセットアップをセットアップしようとしています。我々は2 Sparkのプロセスのためのマスターのための機械およびスパークスレーブの別の3 spark-env.shに以下のように行わスパークHAのマスタ機で構成有する：Zookeeper Quorumを使用したSpark ClusterのHAセットアップ

# - SPARK_DAEMON_JAVA_OPTS, to set config properties for all daemons (e.g. "-Dx=y") 

    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=DEV-SMP-Manager01:2181DEV-SMP-Worker01:2181,DEV-SMP-Worker05:2181"

DEV-SMP-Manager01：2181DEVを-SMP-Worker01：2181、DEV-SMP-Worker05：2181はZKクォーラムです。彼らは稼働しています。

我々は、コマンドsbinに/ start-master.shを使用してマスター（複数可）を開始し、

我々は

java.lang.NoClassDefFoundErrorのキュレーターに関連するいくつかのエラーメッセージ見てきました：ORG/apacheの/キュレーターを/ retryPolicy storm.kafka.KafkaSpout.open（KafkaSpout.java:85）backtype.storm.daemon.executor $ fn__3373 $ fn__3388.invoke（executor.clj：522）at backtype.storm.util $ async_loop $ fn__464.invoke （util.clj：461）at clojure.lang.AFn.run（AFn.java:24）at java.lang.Thread.run（Thread.java:745）原因：java.lang.ClassNotFoundException：org.apache。 curator.RetryPolicy at java.net.URLClassLoader $ 1.run（URLClassLoader.java:372）at java.net.URLClassLoader $ 1.run（URLClassLoader.jav a：361）at java.security.AccessController.doPrivileged（ネイティブメソッド）java.net.URLClassLoader.findClass（URLClassLoader.java：360）at java.lang.ClassLoader.loadClass（ClassLoader.java:424）at sun.misc java.lang.ClassLoader.loadClassで.Launcher $ AppClassLoader.loadClass（Launcher.java:308）（ClassLoader.java:357）...使用5以上

バージョン： - スパーク - 火花1.6.1 ZK - 3.4.6

出典

2016-09-06 Suman Banerjee

あなたspark-env.shファイルに次のように追加することで、クラスパスに学芸員・クライアントjarを追加してみてください。

SPARK_CLASSPATH="$SPARK_CLASSPATH:/path/to/curator-client.jar"

出典

2016-09-06 14:02:55

はいラケッシュ、私はそれを掲示した後、私は広告jarファイルをダウンロードして問題を解決してください。ありがとう。 –

フォーラムの他の人が私の答えの下の目盛りを使って恩恵を受けることができるように答えを受け入れてください。ありがとう。 –

こんにちはRakesh、私の新しい問題を見ることができます...見出しと同じに関連する...だから私は説明を編集...任意のアイデア？ –

Zookeeper Quorumを使用したSpark ClusterのHAセットアップ

答えて

関連する問題