Pyspark G1 Garabageコレクタ

Question

GCコレクタがメモリ不足であるという私のpysparkにエラーがありました。 G1ガベージコレクタについての記事を読んでみてください。 pysparkアプリケーションでどのように設定しますか？私はそれについての指示を見つけることができませんでした..

ありがとう！ここで覚えておくべき

Answer 1

主なポイントは、ガベージコレクション のコストは、Javaの数に比例しているということです。これはスタートです オブジェクト... 元本のconfを発見するために、スパークsee thisとsee thisによってそれを最適化するために、使用するパラメタ。

残りは経験です...