h2oで使用できる最大データセットサイズはどれくらいですか？H2O大きなデータセットサイズを使用する
具体的には、データセットのサイズを各ノードのRAM /ディスクスペースより大きくすることができます。
私は約25GBのディスク容量と40GBのRAMを持つノードを持っています。私は約70GBのデータセットを使用したいと思います。何の最大データセットのサイズはH2Oでありません
Exception in thread "qtp1392425346-39505" java.lang.OutOfMemoryError: GC overhead limit exceeded
：
は
はのエラーを取得していただきありがとうございます。要件は、作成するクラスターの大きさによって定義されます。の最大ヒープサイズをH2Oにどのように伝えるかについての詳細があります。
データセットが70Gで、ノード数が40GのRAMしかない場合は、マルチノードクラスタを使用する必要があります。人に伝える一般的な経験則は、あなたのH2Oクラスターがディスク上のデータの3倍のサイズでなければならないということです。しかし、どのアルゴリズムを使用しているかによって大きく異なります。
70G * 3 = 210Gですので、5ノードクラスタを試してみるとよいでしょう。または、必要なノード数を少なくして、コードを実行し、必要に応じてクラスタのサイズを増やすこともできます。