スパークのサンプルをコンパイルしてjarにビルドするには？

私はMovieLensALS.scalaを編集しています。変更したMovieLensALS.scalaを使用してjarファイルを再コンパイルしたいだけです。スパークのサンプルをコンパイルしてjarにビルドするには？

私はbuild/mvn -pl :spark-examples_2.10 compileを使用しました。それに続いてbuild/mvn -pl :spark-examples_2.10 packageが正常に終了しました。私はSPARK_PREPEND_CLASSES=1を持っています。私はMovieLensALS.scalaに追加されたすべてが、これは全くありません、他の修正を加えて、変更されたファイルであることを言うのprintlnであってもbin/spark-submit --class org.apache.spark.examples.mllib.MovieLensALS examples/target/scala-2.10/spark-examples-1.4.0-hadoop2.4.0.jar --rank 5 --numIterations 20 --lambda 1.0 --kryo data/mllib/sample_movielens_data.txtを使用して

しかし、私は時に再実行MovieLensALSは私が java.lang.StackOverflowErrorを取得します。

私のスカラバージョンは2.11.8で、スパークバージョンは1.4.0です。私はthisスレッドに関する議論に従っています。

お願いします。

出典

2017-02-28 Danish Alsayed

'spark-examples-1.4.0-hadoop2.4.0.jar'はJARファイルです。スカラファイルを表示できますか？ –

これは、 'println（" ************************ MODIFIED MOVIELENSALS ******と一緒にsparkに付属するMovieLensALS.scalaと同じです***************） "）がメインの直後に追加されました。 –

申し訳ありませんが、以前はそのコードを使用していませんが、それがすべて追加されている場合は元に戻して同じエラーが発生しているかどうかを確認できますか？ –

私はそれを自分で考え出した。私はmvn compile -rf :spark-examples_2.10を使ってコンパイルし、次にmvn package -rf :spark-examples_2.10をつけて.jarファイルを生成しました。ここで生成されたjarファイルはspark-examples-1.4.0-hadoop2.2.0.jarです。

一方、スタックオーバーフローエラーは長い系統のためでした。そのために、私は数字の減少のチェックポイントを使うことができました。後で行いました。私はそれのためにthisを続けた。

出典

2017-03-01 08:14:32

スパークのサンプルをコンパイルしてjarにビルドするには？

答えて

関連する問題