0
EMRでスパーク・アプリケーションを実行しています。スパーク履歴のUIでは、environment
タブのspark.executor.instances
は1
になります。ただし、executors
タブの下には、1
ドライバを含む合計9
エグゼキュータがあることが示されています。スパーク環境パラメータがエグゼキュータと一致しない理由を教えてください。
どうしてですか?
EMRでスパーク・アプリケーションを実行しています。スパーク履歴のUIでは、environment
タブのspark.executor.instances
は1
になります。ただし、executors
タブの下には、1
ドライバを含む合計9
エグゼキュータがあることが示されています。スパーク環境パラメータがエグゼキュータと一致しない理由を教えてください。
どうしてですか?
spark.executor.instances
これは、コアノードの初期数+クラスタ内のタスクノードの数に設定されます。
executors
は、各エグゼキュータが並行して実行できるタスクの数です。