2016-06-18 14 views
0

sbtを使用してsparkを構築しています。メモリ不足エラーspark構築中のエラー

sbt/sbt assembly 

次のコマンドを実行すると、スパークの作成に時間がかかります。私が与えた場合

[warn] Multiple resolvers having different access mechanism configured with same name 'sbt-plugin-releases'. To avoid conflict, Remove duplicate project resolvers (`resolvers`) or rename publishing resolver (`publishTo`). 
[warn] There may be incompatibilities among your library dependencies. 
[warn] Here are some of the libraries that were evicted: 
[warn] * com.typesafe.sbt:sbt-git:0.6.1 -> 0.6.2 
[warn] * com.typesafe.sbt:sbt-site:0.7.0 -> 0.7.1 
....... 
[info] streaming-zeromq/*:sbtVersion 
[info] 0.13.7 
[info] repl/*:sbtVersion 
[info] 0.13.7 
[info] spark/*:sbtVersion 
[info] 0.13.7 

:私は、コマンドのsbt sbtVersionを使用してSBTのバージョンを確認すると、私は結果を以下の取得

[error] java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: Java heap space 
[error] Use 'last' for the full log. 

:表示され、最後に、私は次のエラーを取得していますいくつかの警告があります。

ls: cannot access '/home/neel_shah/spark/spark-1.6.1/assembly/target/scala-2.10': No such file or directory 
Failed to find Spark assembly in /home/neel_shah/spark/spark-1.6.1/assembly/target/scala-2.10. 
You need to build Spark before running this program. 

義和:コマンド、は、私は次の出力を取得し、を./bin/spark-shell解決策はできますか?

答えて

3

あなたが設定する必要がありSBTのヒープサイズ:Linuxの種類export SBT_OPTS="-Xmx2G"

    • 窓タイプのset JAVA_OPTS=-Xmx2G

    さらに詳しい情報:

    http://www.scala-sbt.org/0.13.1/docs/Getting-Started/Setup.html

    How to set heap size for sbt?

  • +0

    これはうまくいってくれました。 –

    +0

    これを(ウィンドウで)行うと、次のようになります:ignoring option MaxPermSize = 256m;サポートは8.0で削除されました。今何をすべきかわからない? – cs0815

    +0

    'Xmx' paramはヒープの最大サイズを設定します。 'PermSize'は異なるメモリ領域です。詳細はこちらhttp://stackoverflow.com/questions/22634644/java-hotspottm-64-bit-server-vm-warning-ignoring-option-maxpermsizeとhttp://www.journaldev.com/4098/java-heap-space-vs-stack-memory このメッセージは無視してかまいません。それは警告だけです – mgosk