2016-04-13 29 views
3

This diagramは、spark.python.worker.memoryを除いて、異なるYARNとSparkメモリ関連の設定との関係についてはっきりとしています。spark.python.worker.memoryはどのようにspark.executor.memoryに関連していますか?

spark.python.worker.memoryはこのメモリモデルにどのように適合しますか?

spark.executor.memoryまたはyarn.nodemanager.resource.memory-mbによってPythonプロセスが管理されていますか?

アップデートは

This question設定が何をするのかを説明しますが、メモリガバナンスに関する質問に答えていない、またはそれは他のメモリ設定とどのように関連しますか。

+0

はここ http://stackoverflow.com/questions/31565497/what-is-議論しているように見えますspark-python-worker-memory – David

+0

その答えは、設定が何をするのかを説明し、それがスパークメモリモデルの他の部分とどのように関係するかについては説明しません。 –

答えて

3

Found this thread Apache-sparkメーリングリストのspark.python.worker.memoryは、spark.executor.memoryのメモリのサブセットです。スレッドから

:「spark.python.worker.memoryはエグゼキュータでPythonの労働者のために使用されている」

+0

それは感謝します、ありがとう! –

関連する問題