スパークシャッフルスピルの理解

Question

私が正しく理解していれば、reduceタスクが（マップタスクの出力から）その入力シャッフルブロックを集めるときに、最初にそれらをメモリに保存します（Q1）。エグゼキュータのシャッフル予約メモリの量（メモリ管理（Q2）の変更前）が使い尽くされると、メモリ内のデータはディスクに流出します。 spark.shuffle.spill.compressがtrueの場合、メモリ内のデータは圧縮された形でディスクに書き込まれます。

私の質問：

Q0：私の理解は正しいですか？

Q1：削減タスク内の収集データは、常に圧縮されていませんか？

Q2：シャッフルブロックの収集に使用できるエグゼキュータのメモリの量はどのように見積もることができますか？

Q3：あなたのデータセットがメモリに収まらないときにシャッフルスピルが発生することを私は見てきましたが、シャッフル予約されたエグゼキュータメモリがすべての（非圧縮の）シャッフル入力すべての活動的なタスクのブロック、その後、流出は発生しません、それは正しいですか？

このような場合、流出を避けるために、すべての並列縮小側タスクで終了する（非圧縮の）データがエグゼキュータのシャッフル予約済みメモリ部分より少ないことを確認する必要がありますか？

Answer 1

1.6前後のメモリ管理に違いがあります。いずれの場合も、実行メモリと記憶メモリという概念があります。違いは1.6以前は静的です。つまり、実行と格納のためにどれだけのメモリがあるかを指定する設定パラメータがあります。そして、いずれかが十分でないときに流出があります。凝集やソートなどのパラレル

異なるタスクで実行されている

• 異なる段階：

  Apacheのスパークが回避策がある問題の一つは、の同時実行です。

1. 私はあなたの理解が正しいことを言うと思います。

2. メモリ内の内容は圧縮されていないか、処理できません。実行メモリはブロック単位でディスクに書き込まれ、前述のように圧縮されます。

3. 1.3.1以降、あなたはそれを構成することができるので、サイズを知ることができます。任意の時点で残されているものとして、実行者プロセスをjstat -gcutil <pid> <period>のようなもので見ていることが分かります。どのくらいの量のメモリが空いているかの手がかりを与えるかもしれません。できるだけ多くのメモリが記憶と実行のために設定されていることを知って、少しのdefault.parallelismがあなたに手掛かりを与えるかもしれません。

4. これは当てはまりますが、理由は分かりません。いくつかのキーが他のキーよりも多くの値を持つなど、スキューが発生する可能性があります。