sparkのキャッシュメモリの制限は、デフォルトでどのくらいですか？

Question

sparkのキャッシュの上限はいくらですか？一度にどれくらいのデータを保持できますか？

Answer 1

実際は完全にエグゼキュータのメモリに依存します。 SparkはRDDの大部分をメモリに取り込み、残りは必要になるたびにオンザフライでフェッチされ、再計算されます。それは完全に構成可能であり、あなたはそれを確認することができますhere

Answer 2

thisを参照してください。デフォルトでは0.6 x (JVM heap space - 300MB)です。