アプリケーションのSpark Web UIが終了したら空になる

Question

Spark 1.5.2をYarnで実行しています。

場合によっては、アプリケーションのSpark Web UIが終了した後で空になります。なぜですか？どうすれば解決できますか？

たとえば、私はpysparkアプリを立ち上げ、コンソールとSpark Web UIで進捗状況を追跡しました。だから私は、あなたが以下のscreeshot上で見ることができるように、それが正しく実行されたことを知っている：

• The DAG visualizer, when processing

しかし、プロセスの後、歴史は空になった：

• The Spark Job History shows an empty history when the application finished the process

スクリプトが終了すると、コンソール上で次の警告が表示されます（リンクかどうかわかりません） ）問題に編：

16/05/02 17時36分49秒はAkkaRpcEndpointRefに警告：エラーメッセージ送信1つの試みの[メッセージ= RemoveExecutor）（2、糸はエグゼキュータ2（コンテナcontainer_1460361870585_2312_01_000004を割り当て解除）] このタイムアウトはspark.rpc.askTimeoutによって制御されます [...] 16/05/02 17:36:51 WARN ReliableDeliverySupervisor：リモートシステムとのアソシエーションが失敗しました。アドレスは[5000]ミリ秒でゲートされます。理由：[Disassociated] 16/05/02 17:36:51 WARN ReliableDeliverySupervisor：リモートシステムとのアソシエーションが失敗しました。アドレスは[5000]ミリ秒でゲートされます。理由：[Disassociated]

Answer 1

2番目のスクリーンショットから、それはJobsページでした。ジョブDAGを表示するには、ジョブIDリンクをクリックする必要があります。