スパークアプリケーションをカスタムSparkでビルドするにはどうすればいいですか？

Question

私は通常私の.sbtファイルを含むとsbt packageでコンパイルします。

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0" 
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.1.0" 

が、私はそれが変更を見ていないので、もはや作品ので、上記のテストしたいソースをスパークするためにいくつかの変更を加えました。ローカルバージョンのSparkを使用してコンパイルするにはどうすればよいですか？

Answer 1

私はソース、私はスパークの私のローカルバージョンを使用してコンパイルするにはどうすればよい

スパークするためにいくつかの変更を作ったのですか？

ローカルに変更されたスパークバージョンを作成し、そのバージョンを使用する必要があります。

Spark 2.1.0のソースをダウンロードしたと仮定すると、Building Sparkのようにビルドする必要があります。次のように

私はソースからのスパークを構築するために使用するコマンドは次のとおりです。あなたがスパークを建て

./build/mvn -Phadoop-2.7,yarn,mesos,hive,hive-thriftserver -DskipTests clean install 

した後、（あなたはbuild.sbtに何もを変更しないが、あなたはそのスパークの​​あなたのスパークアプリケーションを使用する必要があります実行のために適切なジャーを配布します）。