This diagramは、spark.python.worker.memory
を除いて、異なるYARNとSparkメモリ関連の設定との関係についてはっきりとしています。spark.python.worker.memoryはどのようにspark.executor.memoryに関連していますか?
spark.python.worker.memory
はこのメモリモデルにどのように適合しますか?
spark.executor.memory
またはyarn.nodemanager.resource.memory-mb
によってPythonプロセスが管理されていますか?
アップデートは
This question設定が何をするのかを説明しますが、メモリガバナンスに関する質問に答えていない、またはそれは他のメモリ設定とどのように関連しますか。
はここ http://stackoverflow.com/questions/31565497/what-is-議論しているように見えますspark-python-worker-memory – David
その答えは、設定が何をするのかを説明し、それがスパークメモリモデルの他の部分とどのように関係するかについては説明しません。 –