なぜHadoopにその量のRAMが必要なのですか？

Question

HadoopコンテナにはRAMが必要です。実際にデータサイズが0.5GBのデータをテストするために使用しているデータサイズitsefは、実際には倍増しています。

物理メモリとコンテナからの仮想メモリの概念は何ですか：物理メモリで100MBの500MB、仮想メモリで2.5GBを超えるような例外が発生することがあります。通常、オペレーティングシステム全体を実行し、すべてのデータをRAMメモリに保存するには2GBが十分であれば、なぜhadoopが仮想メモリの制限を超えているのですか？なぜ2GBで十分ではありませんか？

Answer 1

マッパーまたはレデューサータスクを実行するJavaのオーバーヘッドがあるため、基本的にはより多くのRAMが必要です。そのプロセスのJavaヒープ+ JVM。

で発見この絵：

https://documentation.altiscale.com/heapsize-for-mappers-and-reducers

はおそらく最高はこれを説明しています。

また、Hadoop（Java）で使用されるデータ構造が.5GB（例として）より多く、そのデータがより多く使用され、そのデータが処理に使用される一時的なデータ構造結果はより多く使用されます。そして、Javaはガベージコレクション コレクションを使用しているので、ガベージコレクションが発生するまで、これらの表現はすべてヒープを使用している可能性があります。