2017-06-11 12 views
0

hadoopライブラリなしで火花を構築するための-Phadoop-providedフラグの参照が見つかりましたが、使用方法の良い例は見つかりません。ソースからsparkをビルドし、それが自分自身のhadoop依存性を追加しないことを確認するにはどうすればいいですか?私が最新のスパークを構築したときのように、それは2.8.xのhadoopの束を含んでいて、私のクラスタhadoopのバージョンと衝突しているようです。hadoopの依存関係のない火花の構築

答えて

1

スパークはあなたが本当にそれを構築したい場合、結果としてプロジェクトのルートから

./build/mvn -Phadoop-provided -DskipTests clean package 
これを実行し、 spark-VERSION-bin-without-hadoop.tgz

で命名され、「ユーザー提供のHadoopを事前に構築された」のダウンロードオプションがあります

関連する問題