sparkのパッケージ読み込みエラーのトラブルシューティング

Question

私はJupyterノートブックでHDInsightでsparkを使用しています。私は%% configure "magic"を使ってパッケージをインポートしています。パッケージに問題があるたびに、エラーで火花がクラッシュ：

The code failed because of a fatal error: Status 'shutting_down' not supported by session..

または

The code failed because of a fatal error: Session 28 unexpectedly reached final status 'dead'. See logs:

は、通常、問題は、パッケージの名前をタイプミス私と一緒だったので、いくつかの試みの後にIそれを解決することができます。今、私はspark-streaming-eventhubs_2.11をインポートしようとしています。名前は正しいと思いますが、まだエラーが表示されます。私はすべての種類のログを見ましたが、関連する情報を表示するものはまだ見つかりませんでした。類似のエラーをトラブルシューティングする方法

%%configure -f 
{ "conf": {"spark.jars.packages": "com.microsoft.azure:spark-streaming-eventhubs_2.11:2.0.5" }} 

追加情報：私は

spark-shell --conf spark.jars.packages=com.microsoft.azure:spark-streaming-eventhubs_2.11:2.0.5 

を実行すると、シェルは罰金開始し、私は最終的にエラーが含まれているログファイルを見つけることができたパッケージ

Answer 1

をダウンロードします。

• リウィウスログ興味深いものになる可能性が2つのログファイルがあります：私のHDInsightクラスター上でリウィウス・リウィウス-server.out
• 糸ログ

が、私は1つに接続することによってリウィウスログを見つけましたSSHと、このパスにAAファイルをダウンロードする（このログは便利な情報が含まれていなかった）とヘッドノードで：

/var/log/livy/livy-livy-server.out

実際のエラーは、糸のログファイルにYarnUIからアクセスできました。 HDInsight Azure Portalで、「クラスタダッシュボード」 - >「糸」を選択し、セッション（KILLEDステータス）を探し、テーブルの「ログ」をクリックして、「ログタイプ：標準エラー」を見つけ、 。

私の場合の問題は、spark-streaming_2.11とLivyの依存関係の1つのScalaバージョンの非互換性です。これは固定Livy 0.4とされています。詳細情報here