2017-05-21 5 views
0

schedule()Master.scala)は、最初のスケジュールタスクがワーカー上でドライバをスケジュールしていることを示しています。 Masterはスタンドアロンモードのみを起動するため、ドライバはSparkクラスタからクライアント上で実行されます。スタンドアロンマスタスケジュールドライバはなぜワーカー上にありますか?

なぜ、マスターはドライバを実行するためにワーカーをスケジュールする必要がありますか?

答えて

1

private def schedule(): Unitを参照している場合、そのメソッドは​​の--deploy-mode clusterを使用するSparkアプリケーションのドライバをスケジュールします。 Launching Applications with spark-submitから

(それはCluster Mode Overviewからリンクされている):

--deployモード外部クライアント(client)(デフォルトとしてローカルワーカーノード(cluster)または上のドライバを展開するかどうか:cluster配布モードにおいてclient

、ドライバは、クラスタ内のワーカー上で実行され(とにかかわらず、クラスタ・マネージャのある、スタンドアロンスパーク、HadoopのYA RNまたはApache Mesos)。 Sparkエグゼクティブと同様。

関連する問題