ガベージコレクションの時間は、Apacheのタスクの実行時間の一部ですか？

Question

私はapache sparkの初心者で、apache spark webUIのタスクのガベージコレクション時間を知りました。タスクの実行時間にタスクガベージコレクション時間が含まれていますか？

Answer 1

答えは「はい」です。ガベージコレクターのSpark UIで表示される実行は、合計実行時間の一部です。 GCが実際の実行よりも時間がかかる場合は、自分が行っていることをよく確認してください。

GCに問題が発生している場合は、Sparkのメモリ使用量やGC管理を改善できる解決策がたくさんあります。

Databricksのブログによると、GCの実行時間は、あなたのタスクを実行するためにメモリのGB単位を使用するすべての大企業では、再帰的な問題である：例えば

、ガベージコレクションは、プログラムがさせ、長い時間がかかります長い遅延を経験したり、重大なケースでクラッシュすることさえあります。

フルテキストhereが表示されます。

あなたが見ることができる他のものは、実行中のGC時間、GCオーバーヘッド制限、または実行中のOOMエラーを避けるためにスパークアプリケーションを改善または調整する方法です。

ドキュメントのthis部分を確認してください。