マスタノードはSparkで実際のタスクを実行しますか？

Question

私の質問は馬鹿に聞こえるかもしれませんが、長い間迷惑になります。

上に示した画像は、分散スパークアプリケーションのコンポーネントです。この図から、マスターノードは実際のタスクを実行することはなく、クラスタマネージャとしてのみ機能することが示されていると思います。本当ですか？

ちなみに、tasksは、ここでユーザー提出タスクを指します。

Answer 1

はい、マスターノードはドライバプロセスを実行し、タスクは実行しません。タスクは、ワーカー・ノード上のエグゼキュータ・プロセスで実行されます。マスタノードはCPUの観点からほとんどストレスを受けませんが、ブロードキャスト変数、アキュムレータ、およびcollectの使用方法によっては、RAM使用量が非常に重いことがあります。

Answer 2

異なる役割をもう少し説明する：

ドライバはコンテキストを作成し、RDD変換およびアクションを使用して、データに対する操作を宣言する。

ドライバは、シリアル化されたRDDグラフをマスタに送信します。マスターはそれからタスクを作成し、実行のためにそれらを従業員に提出します。それは、さまざまなジョブステージを調整します。

作業者は、タスクが実際に実行される場所です。 RDDで要求された操作を実行するために必要なリソースとネットワーク接続が必要です。