クライアントによって提出された各アプリケーションは、各ノードマネージャでYARNコンテナの数を起動できますか？

Question

コンテナは、YARNの抽象概念です。 YARNでSparkを実行すると、各SparkエグゼキュータはYARNコンテナとして実行されます。クライアントが送信した各アプリケーションによって、各ノードマネージャでいくつのYARNコンテナを起動できますか？

Answer 1

リソースを持っている限り、必要に応じて1つのNodeManagerで多くのエグゼキュータを実行できます。 20GBのRAMと10コアのサーバーをお持ちの場合、そのノードマネージャーに10 GBの1コア実行プログラムを実行できます。たとえプロセスが同じマシン上で実行されていても、エグゼキュータ間でデータをシャッフルする際にオーバーヘッドコストが発生するため、同じノードマネージャで複数のエグゼキュータを実行することはお勧めできません。