スパークのパーティションが増えていますか？

Question

私はSparkの新機能です。質問があります

Sparkではパーティションが増えていますか？ OOMの問題がある場合は、より多くのパーティションが役立ちますか？

Answer 1

パーティションによって、並列度が決まります。 Apache Sparkの文書によると、パーティションのサイズは、クラスタ内のコアの数と少なくとも同じでなければなりません。

パーティションが非常に少ない場合、クラスタ内のすべてのコアは使用されません。 パーティションがあまりにも少なく、データが小さければ、あまりにも多くの小さなタスクがスケジュールされます。

メモリ不足の問題が発生した場合は、エグゼキュータのメモリを増やす必要があります。最低8GB必要です。