Bluemix Apache Spark Metrics

私はSpark on Bluemixでパフォーマンスを監視する方法を探していました。 Apache Sparkプロジェクトでは、Coda Hale Metrics Libraryに基づくメトリックサービスを提供しています。これにより、ユーザーはSparkメトリックをHTTP、JMX、CSVファイルなどのさまざまなシンクに報告できます。詳細はこちら：http://spark.apache.org/docs/latest/monitoring.html Bluemix Apache Spark Metrics

Bluemix Sparkサービスでこれを行う方法は誰にも分かりますか？理想的には、Object Storageのcsvファイルにメトリックを保存します。

ヘルプを評価してください。

おかげ

ソール

出典

2016-04-19 S. Gill

現在、私は「コーダヘイルメトリックライブラリ」の利用状況とジョブ履歴を報告するか、REST APIを介して情報にアクセスするためのオプションが表示されません。

ただし、Sparkヒストリサーバーのメインページには、イベントログディレクトリが表示されます。これは、次のユーザーディレクトリを参照しています：file：/ gpfs/fs01/user/USER_ID/events/

JSON形式のファイルを見ました。

出典

2016-04-20 13:00:31

はい私はSparkヒストリサーバでいくつかを見ました。ブラウザからこのJSONデータにアクセスできますか？ –

JSONファイルには、サイドパネルのSparkヒストリサーバーリンクを介してアクセスできるデータと同じデータが反映されている必要があります。 "..スルー私のブラウザ"によってあなたはダウンロードを意味する？ –

ブラウザやカールなどの方法でデータにアクセスするには、rest-apiが必要です。イベントログディレクトリは/ gpfs/fs01/user/USER- ID /イベント。これがオープンソースsparkのようなものであれば、そのディレクトリにイベントログがあることを意味します。つまり、そのログにアクセスできますか？ –

答えて

関連する問題