アプリケーションをクラスタモードでマッピングする方法はありますか?スパークドライバアプリケーションマッピング(クラスタモード)
アプリケーションを提出すると、CreateSubmissionResponse
は、ドライバプログラムを監視または強制終了するために使用できるドライバIDを返します。私はドライバのIDを格納せずにそれを行う別の方法があるかどうかを確認しようとしています。
私は環境のセクションの下でアプリケーション情報を与えるドライバUI http://<driver>:4040
を見ましたが、スパークドキュメントは
に言及し、「複数のSparkContextsが同じホスト上で実行されている場合、彼らは(4040で始まる連続したポートにバインドします4041、4042など)。
これはどのドライバがどのport
で実行されているかをマップするのが難しくなります。
ドライバIDとそのアプリケーションをすべて取得する方法があります。
環境:クラスタマネージャとしてZookeeperを使用したスパークスタンドアロン。
何か助けてください!あなたはスパーク履歴サーバを起動して実行している場合、最も簡単な方法は にある
おかげ