スパークジョブがSPARK_LOCAL_DIRSの位置にディスクをいっぱいにします。

Question

スパークジョブが短時間（< 10分）ディスクをいっぱいにしています。私は10GBのディスク容量を持っていて、SPARK_LOCAL_DIRSの場所でいっぱいになっています。私の場合、SPARK_LOCAL_DIRSは/ usr/local/spark/tempに設定されています。

この入力のようなファイルがたくさんあります（0-1489072623600）。各ファイルのサイズは3MB〜8MBです。

Answer 1

SPARK_LOCAL_DIRSは、rddキャッシュ（ディスク）とシャッフルデータに使用されます。どのくらいの量のデータがキャッシュされているか（ディスク）、ジョブ中にシャッフル操作があるかどうか、ストレージの詳細を確認する必要があります。