Python Spark：Javaメモリ不足エラー

Question

sparkのヘルプでtifファイルをロードしようとしているときに問題が発生しています。私は私がしようとした

spark.executor.memory 2000m

2- "spark-env.sh" と "スパーク-defaults.confに" を更新しようとした

Caused by: java.lang.OutOfMemoryError: Java heap space

import thunder as td 
sc = SparkContext("local","app1") 
img = td.images.fromtif('20160511_HuC_H2B_G6s_F1_00002.tif','tif',None,None,False,None,None,None,sc,None).npartitions(100) 

1 - ：それは私にエラーを与えますこのようにそれを作る：

sc = SparkContext("local","app1","--executor-memory 20G") 

3 - 私は、変数設定を追加しようとしました

（更新）

conf = SparkConf().set("spark.executor.memory", "2000m") 
sc = SparkContext("local","simple app", conf = conf) 

4 - 私はbashのファイルに追加：私は同じエラーを毎回持っ

export _JAVA_OPTIONS="-Xms512m -Xmx4g"

、私は助けの任意の種類をいただければ幸いです。

Answer 1

解決策が見つかりました。私はこれでスパークの事前に構築されたバージョンを試してみました

SPARK_EXECUTOR_INSTANCES=14 
SPARK_EXECUTOR_MEMORY=4G 
SPARK_DRIVER_MEMORY=4G 

：最初の私は、次のとconfファイルにspark-env.sh作成した後よりも、SBTで再びそれを建て、その後、スパークのソースコードをダウンロード以前はそれが機能しませんでした。