spark jobserverがSpark 2.0でビルドに失敗する

Question

spark-2.0でspark-jobserverを実行しようとしています githubリポジトリからブランチspark-2.0-previewをクローンしました。私は展開ガイドに従いますが、bin/server_deploy.shを使用してサーバーを展開しようとしました。コンパイルエラーが発生しました：

Error: 
[error] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestLoaderJob.java:4: cannot find symbol 
[error] symbol: class DataFrame 
[error] location: package org.apache.spark.sql 
[error] import org.apache.spark.sql.DataFrame; 
[error] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestJob.java:13: java.lang.Object cannot be converted to org.apache.spark.sql.Row[] 
[error] return sc.sql(data.getString("sql")).collect(); 
[error] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestLoaderJob.java:25: cannot find symbol 
[error] symbol: class DataFrame 
[error] location: class spark.jobserver.JHiveTestLoaderJob 
[error] final DataFrame addrRdd = sc.sql("SELECT * FROM default.test_addresses"); 
[error] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JSqlTestJob.java:13: array required, but java.lang.Object found 
[error] Row row = sc.sql("select 1+1").take(1)[0]; 
[info] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestJob.java: Some input files use or override a deprecated API. 
[info] /spark-jobserver/job-server-extras/src/main/java/spark/jobserver/JHiveTestJob.java: Recompile with -Xlint:deprecation for details. 
[error] (job-server-extras/compile:compileIncremental) javac returned nonzero exit code 

いくつかの依存関係を追加するのを忘れましたか？

Answer 1

私も同様の問題がありました。 Spark APIが1.xから2.xに変更されたためにバグであることが判明しました。あなたはgithubで公開されている問題を見つけることができますhttps://github.com/spark-jobserver/spark-jobserver/issues/760

私は問題を解決し、私はjobserverを展開することができますいくつかのクイックフィックスを導入しました。私はそれを求めるプルの要求を提出した。 https://github.com/spark-jobserver/spark-jobserver/pull/762