Apacheはクラスタモードで起動し、ジョブを実行します。マスターまたはワーカーノードでは？

Question

私はクラスタモードでスパークをインストールしました。 1マスターと2ワーカー。そして、私がマスターノードでsparkシェルを起動すると、それはスケーラシェルを取得せずに数多く実行されています。 しかし、ワーカーノードでspark-shellを実行すると、scala shellを取得しています。そして、私はそのジョブを実行することができます。

val file=sc.textFile(“hdfs://192.168.1.20:9000/user/1gbdata”) 
file.count() 

これは私が出力を得ました。

だから私の疑問は実際にスパークジョブを実行する場所です。 ワーカーノードにありますか？

Answer 1

documentationに基づいて、spark-shellを次のコマンドを使用してマスターノードに接続する必要があります。spark-shell --master spark://IP:PORTこのURLは、マスターのUIまたはログファイルから取得できます。

マスタノード（マシン）でspark-shellを起動できること、UIをチェックアウトしてspark-shellが有効に実行されているかどうか、プロンプトが表示されていることを確認してくださいspark-shellを発行した後にあなたのキーボードで）。

あなたはclusterモードで​​を使用している場合、ドライバは、クライアント・プロセスとして実行されますclientモードに反しワーカーノードの1から直接提出されますのでご注意ください。詳細については、ドキュメントを参照してください。