Google Cloud DataProcのパフォーマンス監視

Question

Googleでは、大規模なデータ分析にGoogleCloudPlatformを使用しています。 処理のため、Googleでは現在google cloud dataproc & spark-streamingを使用しています。私たちは、これらのいずれかの設定するためのDr.Elephantなど、神経節、グラファイトのようないくつかの監視ユーティリティを使用して

を仕事のパフォーマンスをチェックしたいと思います

は、各ノード構成の変更が必要となります。 dataprocがこのようなパフォーマンス監視ツールをネイティブにサポートしているのであれば、知りたいですか？

Answer 1

これらはどれも外からはサポートされていませんが、this initialization actionを使用してGangliaを追加できます。スクリプトを編集して、好きなように設定することができます。

Web UIにアクセスするには、these instructionsに従う必要があります。