h2oクラウドには大量のメモリが必要ですか？

Question

私は、ZeppelinノートブックでRを使用して4データノードのhadoopスパーククラスタにH2Oクラウドを設定しようとしています。私は、私のR段落がメモリ不足（メモリ不足のGCのJavaエラーメッセージ）について不平を言うのを止める前に、各エグゼキュータに少なくとも20Gバイトのメモリを与えなければならないことがわかりました。

H2Oクラウドを実行するためにエグゼキュータごとに20Gbのメモリが必要になると予想されますか？または、メモリ要件を減らすために変更できる設定エントリがありますか？

Answer 1

この投稿には詳細を示す情報が不足しています。しかし、私は、Java GCメッセージの存在は、特に起動時には必ずしも問題ではないと言います。ヒープが何もない状態から定常状態の作業サイズに拡大するにつれて、Javaプログラムの開始時にGCメッセージがちらつくのが普通です。

Java GCが実際に大きな問題になっているという兆候は、2秒以上の実際のウォールクロック時間を持つ連続した完全なGCサイクルを見るときです。