mapreduceジョブが完了すると、_temporaryディレクトリが出力場所から削除されません。

Question

MapReduceジョブで何らかの意味を理解するために、データを解析しています。解析されたデータは、バッチ形式で提供されます。それはスパークストリーミングジョブを通じてハイブ外部テーブルにさらにロードされます。これはリアルタイムプロセスです。今では、_temporaryディレクトリが出力場所に作成されたため、異常なイベントが発生しました。これは、ハイブテーブルへのロードが失敗し、ディレクトリをハイブテーブルにロードできないためです。それは一度だけ起こり、残りの仕事はうまく動作しています。スクリーンショットを参照してください。

_temporaryディレクトリさらに空になっているサブディレクトリとしてタスクIDが含まれています。誰も将来これを避けることができるようにこれを解決するのに助けてください。

Answer 1

まだ完了していないタスクがある場合、_temporaryディレクトリが作成されます。実際の場所を一時的な場所から移動するデータはまだありません。タスクはWeb UIで完了したように見えるかもしれませんが、データの移動はまだ完了していません。このプロセスが完了すると、_SUCCESSファイルのみが存在します。 _temporaryディレクトリのサイズを監視することでこれを確認できます。これは徐々に減少していきます。