火花の仕事が進んでいるかどうかはどうすればわかりますか？

Question

私はYARN上で実行されているスパークジョブを持っていて、ちょうどハングアップしていて計算を行っていないようです。私はyarn application -listをチェックするとき、それはそれはRUNNINGだという、

Application Report : 
Application-Id : applicationID 
Application-Name : test app 
Application-Type : SPARK 
User : ec2-user 
Queue : default 
Start-Time : 1491005660004 
Finish-Time : 0 
Progress : 10% 
State : RUNNING 
Final-State : UNDEFINED 
Tracking-URL : http://<ip>:4040 
RPC Port : 0 
AM Host : <host ip> 
Aggregate Resource Allocation : 36343926 MB-seconds, 9818 vcore-seconds 
Log Aggregation Status : NOT_START 
Diagnostics : 

そして：ここ

は私がyarn application -status <APPLICATIOM ID>を行う際に糸が言っていることです。しかし、私はそれを信頼するかどうかはわかりません。私はスパークのWebUIに行くとき、私はそれを実行してきた唯一のステージ全体の数時間を参照してください。

また

が、私は「ステージ」タブをクリックしたときに、私は何も実行を参照してください。私のアプリケーションが実際に実行してYARNは私に嘘をついていないことをされていることを確認するにはどうすればよい

？

私は実際には、エラーが発生するのを待つのではなく、ジョブが実行中であるかどうかを確認します。それ、どうやったら出来るの？スパークアプリケーションのUI

で

Answer 1

あなたは、リンクをクリックした場合：それはあなたが実行している段階のための詳細を示すだろう「Nativexxxxで寄木細工」。

この画面には、「入力サイズ/レコード」という列があります。仕事が進んでいる場合は、その列に表示されている番号が変わります。

それは基本的にあなたのexecutorが読み込まれたレコードの数を示しています。

Answer 2

SparkのUIにアクセスして「エグゼキュータ」タブを検索すると、そこにあなたの仕事が実行されているエグゼキュータIDと住所の隣に "ログ"列があります。 "stdout" & "stderr"タブがあります。 stdoutをクリックすると、ジョブが実行されているときにコンテナに書き込まれたログが表示されます。

Answer 3

YARNは、アプリケーションが終了していないか、または終了していないため、実行中であると言っています。 止まっているかどうかはわかりません。あなたの場合、糸クライアントモードでSparkジョブを実行し、本当に実行されている場合に示唆すべきログを参照してください。