Spark-Java：SparkLauncherで依存関係ジャーを指定する

Question

SparkLauncherを使用してスパークジョブを実行しようとしています。 私のsparkアプリケーションjarはfat jarではなく、多くの他のサードパーティのjarファイルに依存しますが、SparkLauncherに依存関係jarを指定する方法はありますか？

Answer 1

使用addJar、jarファイルは、このケースで配布される https://spark.apache.org/docs/latest/api/java/org/apache/spark/launcher/SparkLauncher.html#addJar(java.lang.String)

Process spark = new SparkLauncher() 
      .addJar("/path/to/local/jar/file1.jar") 
      .addJar("/path/to/local/jar/file2.jar") 

を参照してください。

DRIVER_EXTRA_CLASSPATHとEXECUTOR_EXTRA_CLASSPATHに追加します（ただし、従業員は手動で配布するか、各従業員がアクセスできる共有フォルダに配置する必要があります）。

Process spark = new SparkLauncher() 
      .setConf(SparkLauncher.DRIVER_EXTRA_CLASSPATH, "/path/to/jar/file.jar") 
      .setConf(SparkLauncher.EXECUTOR_EXTRA_CLASSPATH, "/path/to/jar/file.jar") 

また、クラスパス内のすべてのファイルを含むことにより、複数のjarファイルを含めることができます。addJarメソッドを使用して複数のjarファイルを追加すると

Process spark = new SparkLauncher() 
      .setConf(SparkLauncher.DRIVER_EXTRA_CLASSPATH, "/path/to/jar/*") 
      .setConf(SparkLauncher.EXECUTOR_EXTRA_CLASSPATH, "/path/to/jar/*") 

Answer 2

、我々はファイルのパスが正しくないかであることを言って問題を見てファイル名、ディレクトリ名、またはボリュームラベルの構文が正しくありません。この問題の原因は、sparklauncherが内部でspark-submitを呼び出して、ダブルクォートでjarをカンマで区切って考えると問題が発生するためです。私はspark-submit2.cmdの内容をspark-submit.cmdにコピーする瞬間、上記の問題は解決し、ドライバを実行することができました。