Hadoopパラメータmapreduce.map.memory.mbとmapreduce.map.java.opts

2つのパラメータ（mapreduce.map.memory.mbとmapreduce.map.java.opts）の間に何が関係しているのか、また時にはI mapreduce.map.memory.mbを2048に設定し、mapreduce.map.java.optsを-Xmx4G -Xms4G -serverに設定してください。この場合、上限の上限は何ですか？ありがとう。Hadoopパラメータmapreduce.map.memory.mbとmapreduce.map.java.opts

に関しては、林

出典

2016-04-30 Lin Ma

mapreduce.map.memory.mbは、マップのリソース制限です。

mapreduce.map.java.optsはマップの子jvmsのヒープサイズです。

Hadoopの設定は、リソース強制/制御のほうが多く、Javaはリソース設定のほうが多いです。

Javaヒープ設定はHadoopコンテナのメモリ制限よりも小さくする必要があります。これは、Javaコード用に予約メモリが必要なためです。通常、コード用に20％のメモリを予約することをお勧めします。

出典

2016-05-02 05:20:45 banjara

shekharありがとうございます。 :)あなたのコメントについては、 "mapreduce.map.memory.mbはマップのリソース制限です"、Hadoopコンテナについても触れましたが、mapreduce.map.memory.mbがHadoopマップコンテナの制限であることを意味するのか疑問に思っていますか？ –

@LinMa thats right、mapreduce.map.memory.mbはヤーンマッパーコンテナの制限です。この制限を超えると、Hadoopはマッパーを強制終了します。 – banjara

シェフハー、ありがとう。 JVM自体の他に、Hadoopマップコンテナのメモリ上の他の追加使用量（なぜそれがあなたがコード用に20％のメモリを予約すると言ったのですか？） –

Hadoopパラメータmapreduce.map.memory.mbとmapreduce.map.java.opts

答えて

関連する問題