spark-packages

10熱

1答えて

spark-dariaプロジェクトはuploaded to Spark Packagesで、sbt-spark-package pluginの別のSBTプロジェクトでspark-dariaコードにアクセスしています。 sbt assemblyによって生成されたfat JARファイルには、build.sbtファイルに次のコードを含めてspark-dariaを含めることができます。 spDepende

0熱

1答えて

パッケージ化されたjarからクラスを優先する方法をスパークする

fatjarを作成するためにsbtアセンブリプラグインを使用しています。私は、デフォルトのハープ/スパークの一部であるが、新しいバージョンではいくつかのジャーが必要です。私はspark worker jvmに、デフォルトのhadoop/sparkディストリビューションではなく、私のfat jarファイルでパッケージ化されたバージョンを優先させたいと思っています。これどうやってするの？