ジョブを管理し、spark(1.6を使用)を介して実行するjavaクラスがあります。 私はAPI - sparkLauncherを使用しています。 startApplication(SparkAppHandle.Listener ... listener)を呼び出して、ジョブの状態を監視します。 問題は私が実際のクラスタ環境で動作するように移動したことです。この実装では、内部実装がポートを開くためにlocalhost(ループバック)のみを使用しているため、マスタとワーカーが同じマシン上にない場合は動作しません労働者が拘束されるようにする。 API sparkLauncher.launch()は機能しますが、ステータスを監視することはできません。 Javaコードを使用したクラスタ環境のベストプラクティスは何ですか? 私はまた、隠された残りのAPIのオプションを見た、それは十分に成熟している?どういうわけか私はそれを有効にする必要があります(ポートが外部から開いていてもアクセスが拒否されています)。クラスタモードでjavaを使用してスパークジョブを送信および監視します
0
A
答えて
0
のREST API
を見つけることができます
詳細は、彼らはまた、JSONとしてご利用いただけます。これにより、開発者はSparkの新しいビジュアライゼーションと監視ツールを簡単に作成できます。 JSONは、実行中のアプリケーションと履歴サーバーで使用できます。エンドポイントは/ api/v1にマウントされます。たとえば、履歴サーバーの場合、通常http://:18080/api/v1、実行中のアプリケーションの場合はhttp://localhost:4040/api/v1にアクセスできます。あなたがお返事のためhere.
0
すべてのSparkContextは、デフォルトでポート4040のWeb UIを起動し、アプリケーションに関する有用な情報を表示します。これには含まれています:
- スケジューラステージとタスクのリスト
- RDDサイズの概要とメモリ使用量
- 環境情報。
- 実行している執行
に関する情報あなたは、単にWebブラウザでhttp://driver-node:4040を開いて、このインターフェイスにアクセスすることができます。複数のSparkContextが同じホスト上で実行されている場合、4040(4041,4042など)で始まる連続するポートにバインドされます。あなたはUIに指標を表示するだけではhere.
関連する問題
- 1. ユーザーインターフェイスを使用してスパークジョブを送信
- 2. Amazon CloudWatch監視スクリプトを使用してAmazon Linuxメモリをバッファおよびキャッシュで監視できません
- 3. シェルスクリプトを使用してログを監視し、メールを送信
- 4. シェルスクリプトファイルを使用したスパークジョブの送信
- 5. ドッカーテレメトリおよびパフォーマンス監視
- 6. Linuxでシェルスクリプトを使用してログを監視して警告メールを送信
- 7. エアフローでスパークジョブを監視する方法
- 8. URLConnectionを使用してマップを送信および取得します。
- 9. YARNクラスタモードでのスパーク監視REST API
- 10. Dataproc:REST APIを使用してスパークジョブを送信
- 11. FOSRestBundleを使用してAPIにデータを送信および受信する
- 12. select()関数を使用してデータを送信および受信する
- 13. オープンソースコードを使用してNestセキュリティカメラを実行および監視できますか?
- 14. 監視システム - asp.net、nhibernate、およびajax?
- 15. kハンドルバーを使用したテンプレートへのJSONの送信javaおよびratpac
- 16. SQLデータベースで未使用のインデックスを監視および検索するには
- 17. Javaを使用してウィンドウプロセスを監視する方法は?
- 18. ua-javaを使用して監視項目を作成する
- 19. クライアントサーバーでFIFOを使用し、バースト送信および受信処理時間
- 20. ZabbixはWeb監視タスクに投稿データを送信します
- 21. JSONを使用してHTMLフォームを送信およびテストする
- 22. 直接/間接および監視/非監督/強化学習
- 23. int配列は、Javaでデータグラムソケットプログラミングで送信および受信
- 24. vb6.0を使用してhttpsサイトに取得および送信する
- 25. オープンソースツールを使用してコンフルエントカフカを監視
- 26. Pythonを使用して新しい作成されたファイルのftpマウントポイントを監視および監視する方法
- 27. angle2、typescriptのサービスおよびアップデートコンポーネントの変更を監視します
- 28. スーパーバイザを使用してリモートホストのプロセスを制御および監視する方法は?
- 29. Googleのアプリケーションエンジンのログを監視し、メールを送信する
- 30. Javaでarrrayを使用して色を格納および取得します
感謝を見つけることができます
詳細。私は隠された残りのAPIを使用しようとしていますが、別のマシンからスパークマスターを実行すると、403が表示されます。ポートはマシンで開きます。スパークのセキュリティ設定を知っていますか? – user601929
ポートにアクセスできるかどうか確認してください。 あなたは何かを試すことができます: telnet server.hostname port –
私は外からは持ちませんが、セキュリティグループではポートは開いていますが、スパーク設定から何らかの形で有効にする必要がありますか? – user601929