RDDメモリフットプリント（火花）

Question

メモリフットプリントのコンセプトについてはわかりません。たとえば、寄木細工のファイルをロードするとき。 1GBとSparkでRDDを作成すると、各RDDのメモリフードプリントはどうなりますか？

Answer 1

パーケットファイルからRDDを作成すると、RDDでアクションを実行する（たとえば、最初に収集する）まで、何もロード/実行されません。

今では、メモリフットプリントは時間の経過とともに変化する可能性が高いです。 100個のパーティションがあり、同じサイズ（それぞれ10 MB）であるとします。 20コアのクラスタで稼働しているとしたら、任意の時点で10MB x 20 = 200MBのデータをメモリに格納するだけで済みます。

これに加えて、Javaオブジェクトがより多くの領域を占める傾向があるため、1GBファイルがJVMヒープでどれくらいのスペースを占めるかを正確に言うことは容易ではありません。それは私に2倍またはそれ以上のことができます。

これをテストするトリックは、RDDを強制的にキャッシュすることです。 SparkのUIをStorageにチェックインして、RDDがキャッシュに費やした容量を確認することができます。

Answer 2

Marios、あなたの記憶投影では、あなたはパーケットの圧縮を考慮しませんでした。 1Gbは5GB非圧縮にすることができます。