schedule()
(Master.scala
)は、最初のスケジュールタスクがワーカー上でドライバをスケジュールしていることを示しています。 Masterはスタンドアロンモードのみを起動するため、ドライバはSparkクラスタからクライアント上で実行されます。スタンドアロンマスタスケジュールドライバはなぜワーカー上にありますか?
なぜ、マスターはドライバを実行するためにワーカーをスケジュールする必要がありますか?
schedule()
(Master.scala
)は、最初のスケジュールタスクがワーカー上でドライバをスケジュールしていることを示しています。 Masterはスタンドアロンモードのみを起動するため、ドライバはSparkクラスタからクライアント上で実行されます。スタンドアロンマスタスケジュールドライバはなぜワーカー上にありますか?
なぜ、マスターはドライバを実行するためにワーカーをスケジュールする必要がありますか?
private def schedule(): Unitを参照している場合、そのメソッドはの--deploy-mode cluster
を使用するSparkアプリケーションのドライバをスケジュールします。 Launching Applications with spark-submitから
(それはCluster Mode Overviewからリンクされている):
--deployモード外部クライアント(
client
)(デフォルトとしてローカルワーカーノード(cluster
)または上のドライバを展開するかどうか:cluster
配布モードにおいてclient
)
、ドライバは、クラスタ内のワーカー上で実行され(とにかかわらず、クラスタ・マネージャのある、スタンドアロンスパーク、HadoopのYA RNまたはApache Mesos)。 Sparkエグゼクティブと同様。