簡単な回数の呼び出しは（）

Question

クラスタマネージャ失敗：YARNを

展開モード：なし配備モードがnoneに設定されている場合、私は言われた

、ドライブプロセスの標準出力は、ルートパスで来ます、ドライバプロセスの内部コンテナIDの代わりに使用します。

SparkUIログ：私は確実にするために、この呼び出しを行う前に、他のすべてのデータフレーム/データセットをunpersistedしたエラーにContainer executed on lost node...

を付け、それらがメモリにキャッシュされていません。

count()のような単純なアクションを呼び出すことは失敗します。

私は基本的に次のことをやっている：

columnNames.keys.foreach(
    col => { 
    val nonNullColCount = 
     dataset.select(dataset(col)).filter(row => 
     row.getAs(col) != null).count() 
    println(nonNullParamsCount) 
    }) 

をだから、私は、ループ内でのデータセットにcount()を呼び出しています。 各繰り返しで、私は列名のリストから列を選択します。

エラーがの形で、汎用的かつ誤解を招くです：あなたが戻って価格変更の取りAWSスポットインスタンスとスポットインスタンスを使用している場合は

Job aborted due to stage failure: Task 284 in stage 14.0 failed 4 times, 
most recent failure: Lost task 284.3 in stage 14.0 (TID 100923, ip-172-31-50-226.ec2.internal, executor 266): 
ExecutorLostFailure (executor 266 exited caused by one of the running tasks) 
Reason: Container marked as failed: container_1506075842477_0672_01_017877 on host: ip-172-31-50-226.ec2.internal. 
Exit status: -100. 
Diagnostics: Container released on a *lost* node 

Answer 1

エラーを以下得ることができます。

終了ステータス：-100。診断：コンテナはあなたが短い間隔でS3上のファイルとして各ステップの 結果を保存したり、非スポットインスタンスで行くことができるように

回避策は、多くの独立したステップにスパークジョブを分割し、失われたノード上で発表しました。