Spark 2.0 set jars

Question

play-scalaアプリケーションで1.6からspark 2.0にアップグレードしていて、必要なjarファイルを設定する方法が不明です。以前はSparkConfが定義されていて、呼び出すことのできるメソッドの1つがsetJarsでした。これにより、私が望むすべてのjarファイルを指定することができました。今私はSparkSessionビルダーを使用してsparkのconfとsparkのコンテキストを構築していますが、jarファイルを指定するための類似のメソッドはありません。これどうやってするの？私は「setJars」と同じことを達成するためにsparksessionビルダーを使って何ができるか

val sparkConf = new SparkConf().setMaster(sparkMaster).setAppName(sparkAppName). 
    set("spark.yarn.jar", "hdfs:///user/hadoop/spark-assembly-1.6.1-hadoop2.7.2.jar"). 
    set("spark.eventLog.dir", "hdfs:///var/log/spark/apps"). 
    set("spark.eventLog.enabled", "true"). 
    set("spark.executorEnv.JAVA_HOME", "/usr/lib/jvm/jre-1.8.0-openjdk"). 
    setJars(Seq(
    "ALL JAR FILES LISTED HERE" 
)) 

：ここ

は、私は以前に私のsparkconfを作成する方法ですか？

Answer 1

あなたはspark.jarsを設定するには、.config(key, value)メソッドを使用することができます。

SparkSession.builder 
.appName(sparkAppName) 
.master(sparkMaster) 
.config("spark.jars", commaSeparatedListOfJars) 
.config(/* other stuff */) 
.getOrCreate()