Spark MapWithState実行モデル

私はmapWithStateをキーとしてStringとStateを配列とするObjectで構成されるペアを保持します。同じキーを含む新しいストリームが表示されたら、配列を更新しています。スパークアプリケーションが複数のノードで実行されている場合、アレイが2回更新される可能性はありますか？私は今mapWithState実行モデルがどのように動作するか正確にはしません。Spark MapWithState実行モデル

ありがとうございました！

出典

2016-08-09 Vlad

StateSpec各キー値のペアごとに関数が呼び出されるため、バッチごとに複数の更新が存在する可能性がありますが、個別の更新はシーケンシャルであり、パーティション化されたデータに対しても機能します。

出典

2016-08-09 16:30:14 zero323

ありがとうございました！はい、私は、マルチノード構成では、配列データの精度を変更する可能性のある2つのノードによって同時に状態が更新される可能性があると心配していました。 – Vlad

[こちらの質問]（http://stackoverflow.com/questions/36151354/spark-mapwithstate-shuffles-all-data-to-one-node）を参照すると、Sparkはキーに基づいてデータをシャッフルします。 –

@ zero323州は労働者の間でどのように共有/配布されていますか？ –

Spark MapWithState実行モデル

答えて

関連する問題