3
ドライバでスパークアキュムレータをリセットする方法があるため、エグゼキュータのアキュムレータもクリーンアップされます。sparkアキュムレータのリセット
実際にはList> のAccumulatorを持っています。すべてのExecutorがタプルをアキュムレータに追加し、ドライバがそれを読み込みます。 問題は、エグゼキュータのヒープがいっぱいになることです。
ドライバがすべてのデータを読み込むと、エグゼキュータはローカルデータを必要としません。
おかげ