スパークジョブサーバfor spark 1.6.0

Spark Job ServerのバージョンはSpark 1.6.0と一致していますか？ https://github.com/spark-jobserver/spark-jobserverのバージョン情報によると、SJSは1.6.1では1.6.0では使用できないことがわかりました。 CloudEraがホストしているSparkが1.6.0で動作していますスパークジョブサーバfor spark 1.6.0

spark homeを1.6.1に設定してSJSを導入しました。私がジョブを提出すると、ジョブIDが生成されていますが、ジョブの結果は表示されません。入力はありますか？

出典

2016-07-09 Shakeel

いいえ、スパーク1.6.0に関連付けられたSJSバージョンはありません。 1.6.0とコンパイルするのは簡単です。このhttps://github.com/spark-jobserver/spark-jobserver/blob/master/project/Versions.scala#L10を修正して試してみてください。

出典

2016-07-09 07:57:14 noorul

ありがとうございます。 SJS binフォルダにはserver_deploy.shとserver_package.shがあります。私がsparkがホストされているマシン（サーバAでコンパイルを計画していないし、サーバBでsshを実行する予定はない）からコンパイルしているのであれば、ユーザserver_package.shはOKですか？この（server_package.sh）スクリプトも、ftpを除いてserver_deploy.shのようなSJSをコンパイルしているようです。 – Shakeel

デプロイメントサーバと同じマシンからserver_deploy.shを実行するとうまくいくと思います。 – noorul

スパークジョブサーバfor spark 1.6.0

答えて

関連する問題