spark on yarnのエグゼキュータの最小ヒープサイズを変更する

spark on yarnを実行している間、エグゼキュータの初期/最小ヒープサイズを変更します。今のところは、次の例外をスローし、spark on yarnのエグゼキュータの最小ヒープサイズを変更する

のjava.lang.Exception：spark.executor.extraJavaOptionsが私の火花シェルを実行している間、私は、次の--conf "spark.executor.extraJavaOptions=-Xms4096m"を使用しています

メモリ設定を変更することはできません。

私はスパーク1.6.0を使用しています。本当に助けに感謝します！

出典

2016-12-01 Adi Kish

ビット約spark.executor.extraJavaOptionsdocs

注から、このオプションでスパーク特性またはヒープ・サイズの設定を設定することが違法であること。スパークプロパティは、SparkConfオブジェクトまたはspark-submitスクリプトで使用されるspark-defaults.confファイルを使用して設定する必要があります。ヒープサイズの設定は、spark.executor.memoryを使用して設定できます。

この--conf "spark.executor.memory=4g"

出典

2016-12-01 20:07:51 David

を試してみて、これは私に4グラムの-Xmxと執行上の4グラムの静的な割り当てを与えますが、私は同様に私のX msを設定したいと思います。 –

私はヒープサイズがsparkのエグゼキュータのために固定されていると信じています。 Javaの場合、 'spark.executor.memory = 4g'はXmsとXmxの両方を4gに設定するのと同じです – David

私の糸エグゼキュータのログは約192mで始まり、そこを増やし続けているようです。 –

spark on yarnのエグゼキュータの最小ヒープサイズを変更する

答えて

関連する問題