Apache Spark用のBluemix Analyticsログファイル情報が必要

Question

私のスパークノートをデバッグするときに、より詳しい情報が必要です。私はいくつかのログファイルを発見した：

!ls $HOME/notebook/logs/ 

ファイルは、次のとおりです。

のアプリケーションがこれらのファイルにログを記録し、どのような情報は、これらの各ファイルに書き込まれ

bootstrap-nnnnnnnn_nnnnnn.log 
jupyter-nnnnnnnn_nnnnnn.log 
kernel-pyspark-nnnnnnnn_nnnnnn.log 
kernel-scala-nnnnnnnn_nnnnnn.log 
logs-nnnnnnnn.tgz 
monitor-nnnnnnnn_nnnnnn.log 
spark160master-ego.log 

？

Answer 1

ノートブックをデバッグするときには、ファイルkernel-*-*.logが必要です。サービスの開始時に論理的な順序で

...

1. bootstrap-*.logが書かれています。各開始のための1つのファイルは、タイムスタンプがいつ起こったかを示します。ユーザ環境を初期化し、カーネル仕様を作成し、Spark設定を準備する起動スクリプトからの出力を含みます。

2. bootstrap-*_allday.logには、その日のサービス開始と停止ごとのレコードがあります。

3. jupyter-*.logには、Jupyterサーバーからの出力が含まれます。 bootstrap-*.logからの初期化が完了すると、Jupyterサーバーが開始されます。それがこのファイルが作成されたときです。ノートブックカーネルの起動または停止、およびノー​​トブックの保存時にログエントリが表示されます。

4. monitor-*.logには、サービスで開始された監視スクリプトからの出力が含まれます。監視スクリプトは、Jupyterサーバーがリスンしているポートを検出する必要があります。その後、サービスアクティビティを監視し、アイドル状態が長すぎるとサービスをシャットダウンします。

5. kernel-*-*.logには、ノートブックカーネルからの出力が含まれています。すべてのカーネルは別々のログファイルを取得し、タイムスタンプはカーネルがいつ起動したかを示します。ファイル名の2番目の単語は、カーネルのタイプを示します。

6. spark*-ego.logには、スパークジョブスケジューリングの出力が含まれています。ノートブックのカーネルがアイドル状態であっても、Sparkがアクティブであるかどうかを検出するために監視スクリプトによって使用されます。

7. logs-*.tgzには、それぞれの日のアーカイブログが含まれています。数日後に自動的に削除されます。

Answer 2

最近有効になったDSXの「環境」機能では、ログはディレクトリ/var/pod/logs/に移動しました。現在のセッションにはkernel-*-*.logとjupyter-*.logのファイルが表示されます。しかし、それらはデバッグには役に立ちません。

サービスバックエンドとしてのSparkでは、各カーネルにkernel-*-*.logファイルにログするSparkドライバプロセスがあります。環境機能はSparkなしで提供され、カーネル自体はログファイルの出力を生成しません。