java.lang.OutOfMemoryError：Apache SparkのJavaヒープスペース

Question

Sparkでアルゴリズム（高速フーリエ変換、FFT）を試みました。

（それが本当に小さいですが）データは64メートルを超えている場合、コンソールは、メッセージを示しています。

java.lang.OutOfMemoryError: java heap space. 

Iは、32ビットのUbuntuシステムを使用し、火花1.6.0。 Scala IDE、Eclipseを使用します。

ローカルモードとスタンドアロンモードを使用します。データが32mより小さい場合は正常に動作しますが、64mより大きい場合は動作しません。

JVM設定を-Xms1000mと-Xmx4000mに設定しようとしました。また、コードにSparkConfを作成するときに.set("spark.exetutor.memory", "8g")を追加しようとしました。しかし、両方とも機能しません。

どうすればこの問題を解決できますか？

Answer 1

spark.master = localを使用する場合、調整する関連値はspark.driver.memoryです。このオプションは、JVM（つまりドライバ）がローカルモードで起動する前に設定する必要があるので、既存のSparkContextを修正すると、JVMが既に起動されているため変更できません。