0
sbtを使用してsparkを構築しています。メモリ不足エラーspark構築中のエラー
sbt/sbt assembly
次のコマンドを実行すると、スパークの作成に時間がかかります。私が与えた場合
[warn] Multiple resolvers having different access mechanism configured with same name 'sbt-plugin-releases'. To avoid conflict, Remove duplicate project resolvers (`resolvers`) or rename publishing resolver (`publishTo`).
[warn] There may be incompatibilities among your library dependencies.
[warn] Here are some of the libraries that were evicted:
[warn] * com.typesafe.sbt:sbt-git:0.6.1 -> 0.6.2
[warn] * com.typesafe.sbt:sbt-site:0.7.0 -> 0.7.1
.......
[info] streaming-zeromq/*:sbtVersion
[info] 0.13.7
[info] repl/*:sbtVersion
[info] 0.13.7
[info] spark/*:sbtVersion
[info] 0.13.7
:私は、コマンドのsbt sbtVersionを使用してSBTのバージョンを確認すると、私は結果を以下の取得
[error] java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: Java heap space
[error] Use 'last' for the full log.
:表示され、最後に、私は次のエラーを取得していますいくつかの警告があります。
ls: cannot access '/home/neel_shah/spark/spark-1.6.1/assembly/target/scala-2.10': No such file or directory
Failed to find Spark assembly in /home/neel_shah/spark/spark-1.6.1/assembly/target/scala-2.10.
You need to build Spark before running this program.
義和:コマンド、は、私は次の出力を取得し、を./bin/spark-shell解決策はできますか?
これはうまくいってくれました。 –
これを(ウィンドウで)行うと、次のようになります:ignoring option MaxPermSize = 256m;サポートは8.0で削除されました。今何をすべきかわからない? – cs0815
'Xmx' paramはヒープの最大サイズを設定します。 'PermSize'は異なるメモリ領域です。詳細はこちらhttp://stackoverflow.com/questions/22634644/java-hotspottm-64-bit-server-vm-warning-ignoring-option-maxpermsizeとhttp://www.journaldev.com/4098/java-heap-space-vs-stack-memory このメッセージは無視してかまいません。それは警告だけです – mgosk