スパークストリーミングジョブでは、エグゼキュータからドライバにエラーメッセージを収集し、各ストリーミングバッチの最後にこれらを記録する方法はありますか？

Question

すべてのエラーメッセージをドライバマシンに記録します。これを効率的に行う方法。

Answer 1

収集するメッセージの量に応じて、Accumulatorを使用して、これを行うことを検討できます。組み込みのListAccumulatorが主要候補のようです。

Answer 2

基本的には、アプリケーション固有のすべてのログをYARNログに書き込むのではなく、別々のファイルに書き込む必要があります。

https://mapr.com/blog/how-log-apache-spark/

上記のURLは、Apacheのスパークでのカスタムロガーメカニズムを実装することができますどのように、明確に述べています。

Answer 3

コードの前後にtry/catchブロックを置き、スタックトレースを出力することができます。

try { 

    // your code 

    } catch { 
    case e: Exception => { 
     e.printStackTrace() 
    }