スパーク放送の不利な点は何ですか？

Question

私はSOのように火花ドキュメントおよびその他の関連するQ &を読んだが、私はまだスパーク放送変数、太字では特に、ステートメントのいくつかの詳細については不明だ：

スパークアクションを介して実行されています分散シャッフル操作で区切られた一連のステージ。 Sparkは、各ステージ内のタスクに必要な共通データを自動的にブロードキャストします。この方法でブロードキャストされたデータは、シリアル化された形式でキャッシュされ、各タスクを実行する前にデシリアライズされます。つまり、ブロードキャスト変数を明示的に作成するは、複数のステージにわたるタスクが同じデータを必要とする場合、または非直列化形式でデータをキャッシュする場合に重要です。

1. 「共通データ」とは何ですか？
2. 変数が1段階でのみ使用されている場合、ブロードキャストはそのメモリフットプリントに関係なく有用ではありませんか？
3. ブロードキャストは効果的に各エグゼキュータの変数を「参照」するため、複数回コピーするのではなく、どのシナリオで放送が悪い考えですか？なぜこの放送の振る舞いがデフォルトのスパークの振る舞いではないのですか？

ありがとうございました！

Answer 1

あなたの質問には、ほとんどすべての回答があります。

「共通データ」とは何ですか？

複数のエグゼキュータによって参照/読み込まれるデータ。たとえば、辞書ルックアップです。何人かの巨大な辞書検索が必要なタスクを100人のエグゼキュータが実行していると仮定します。ブロードキャスト変数がなければ、すべてのエグゼキュータでこのデータをロードします。ブロードキャスト変数では、一度ロードするだけですべてのエグゼキュータが同じ辞書を参照します。したがって、多くのスペースを節約できます。詳細については

：変数のみ1つの段階で使用されている場合https://blog.knoldus.com/2016/04/30/broadcast-variables-in-spark-how-and-when-to-use-them/

、それは関係なく、そのメモリフットプリントの、有用ではありません放送意味するのでしょうか？

いいえはい。いいえ、あなたのシングルステージに数百人から数千人のエグゼクティブがいれば！はい、あなたがステージにいれば、エグゼキュータはほとんどありません。

ブロードキャストは効果的に各エグゼキュータの変数を「参照」するため、何回シナリオをブロードキャストするのが悪い考えですか？なぜこの放送の振る舞いがデフォルトのスパークの振る舞いではないのですか？

このようにブロードキャストされたデータは、シリアル化された形式でキャッシュされ、各タスクを実行する前にデシリアライズされます。したがって、ブロードキャストされるデータが非常に大きい場合、シリアライゼーションとデシリアライズはコストのかかる操作になります。このような場合は、ブロードキャスト変数の使用を避ける必要があります。