spark-jobserverクラスタのコンテキストエラー

Question

spark-jobserverをsparkクラスタ上で起動しようとしています。

サーバーをデプロイするには、github.com/spark-jobserver/spark-jobserver#deploymentのドキュメントに従います。 ./server_deploy.sh localを実行して展開します。

私はペーストビンために私たちのlocal.confとlocal.shをアップロードした -

local.conf - http://pastebin.com/DWJEuX11

local.sh - http://pastebin.com/S2hjXb8J

我々は、その後から次のコマンドを実行している私たちのクラスタマスターと労働者を起動スパークルートフォルダ

./sbin/master-start.sh 
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT 

ローカルホストの確認：8 080それは正常に動作しているようです。

./server_start.sh --master spark://IP:PORT --deploy-mode clusterを実行してサーバーを起動し、localhost：8080を再度確認して、サーバーが稼働中の1つのコアで稼動していることがわかります。 localhost：8090を確認すると、spark-jobserverも起動していることがわかります。

次に、CassandraSQLContext（github.com/datastax/spark-cassandra-connector/blob/master/spark-cassandra-connector/src/main/scala/org/apache/spark/sql/）を含むカスタムコンテキストを作成します。カサンドラ/ CassandraSQLContext.scala）

curl -d "" 'localhost:8090/contexts/cassandra-context?context-factory=spark.jobserver.context.CassandraContextFactory&num-cpu-cores=4&memory-per-node=512m' 

を実行することにより、私たちは、その後、local.conf

で依存関係のjarファイルを含めることによって

{ 
    "status": "CONTEXT INIT ERROR", 
    "result": { 
     "errorClass": "java.lang.NoClassDefFoundError", 
     "cause": "org.apache.spark.sql.cassandra.CassandraSQLContext", 
     "stack": ["java.net.URLClassLoader.findClass(URLClassLoader.java:381)"... 
    } 
} 

我々は、このエラーを修正しようとした次のエラーを受け取ります

dependent-jar-uris = ["file:///path/to/jar.jar"] 

これは同じエラーを示しました。

また、./server_deploy.sh localを実行するとほとんどのファイルでエラーFile line length exceeds 110 charactersが発生したjob-server-extrasに、spark-cassandra-connector srcフォルダ全体を含めてみました。

可能な限りお手伝いします。

Answer 1

JobServerの起動に使用されるspark-submitに--packages行を追加するだけです。おそらくそれを回避する最も簡単な方法です。

はあなただけ

./server_start.sh --packages datastax:spark-cassandra-connector:VersionYouWant