Sparkストリーミングがエグゼキュータタスクに失敗しました

Question

スパークUIの[ジョブ]タブを見ると、20/20 /（4失敗）のようなタスクステータスが表示されます。

失敗したタスクにデータが失われていることを意味しますか？失敗したタスクはdiff実行者に移されませんか？

Answer 1

あなたが（彼らは頻繁に根本的なメモリの問題の指標である）失敗したタスクを警戒する必要がありますが、あなたは、データの損失を心配する必要はありません。ステージは正常に完了したとマークされているため、失敗したタスクは実際は（最終的に）正常に処理されました。