Spark - java IOException：/ tmp/blockmgrにローカルディレクトリを作成できませんでした。*

Question

長時間実行していたSpark Jobを実行しようとしていました。実行の数時間後、私は以下の例外を取得：を/ tmpディレクトリ内

1. パーミッションの問題を：

   Caused by: java.io.IOException: Failed to create local dir in /tmp/blockmgr-bb765fd4-361f-4ee4-a6ef-adc547d8d838/28 
   

   をチェックすることでそれを回避しようとしました。スパークサーバーがルートとして実行されていません。/tmpディレクトリはすべてのユーザーに書き込み可能にする必要があります。

2. /tmpディレクトリには十分な領域があります。

Answer 1

あなたは、いくつかのノードで作業していると仮定すると、あなたはすべてのノードがスパーク操作（マスター/スレーブドライバ+ /ノード/労働者）に参加をチェックする必要があります。

各ワーカー/ノードに十分なディスク容量（特にcheck/tmpフォルダ）があり、適切な権限があることを確認してください。