AzureのHDInsight SparkHistoryはアプリケーションを表示しません

Question

Spark HDInsight ClusterをAzureに作成しました。クラスタは、異なるジョブ（SparkまたはHiveのいずれか）を実行するために使用されました。

1か月前までは、スパークヒストリサーバーダッシュボードにジョブの履歴が表示されました。 Spark 1.6.0を導入したアップデートに続いて、このダッシュボードはもはやアプリケーションを表示していないようだ。

また、get-azurehdinsightjobのPowerShellコマンドレットを実行してこの問題を回避すると、hereとなりました。出力は再びアプリケーションの空のリストです。

このダッシュボードが正常に動作していたため、すべての実験が停止してしまったので、助けていただければ幸いです。

Answer 1

内のすべてを削除することができましたwasb：/// hdp/spark-events。他のログファイルを追加できないため、問題はフォルダのサイズに関連していた可能性があります。

以下のすべてのジョブが、Spark History Serverダッシュボードに正常に表示されます。