マルチコアマシンでのHadoopとmap-reduce

Question

マシンのクラスタで実行されているHadoopとMap-Reduceについてよく読んでいます。いくつかのコアは、Apacheディストリビューションをいくつかのコアを持つSMP上で実行できるかどうかを知っていますか？特に、複数のMap-Reduceプロセスを同じマシン上で実行できるかどうか。スケジューラはそれらを複数のコアに分散して処理します。ありがとう。 - KG

Answer 1

はい。複数のマップを有しており、RAMとCPUによって決定される各マシンのスロットを減らすhadoop wiki

から

（各JVMインスタンスがそれほど16個のコアと8GBのマシンが依然として7つのタスクスロットを有していなければならないデフォルトで1ギガバイトを必要とします）

設定ノブ：mapred.tasktracker.map.tasks.maximumと mapred.tasktracker.reduce.tasks.maximumを使用して、TaskTrackerで同時に生成された マップの数を制御します。デフォルトでは、 は2に設定されているため、TaskTrackerの指定されたインスタンス で最大2つのマップが表示され、2つが減ります。

ハードウェアを に正確に反映させるために、タスクトラッカー単位で設定できます（例：beefier tasktracker などで上位に設定します）。

Answer 2

これらの軽量MapReduceフレームワークは、マルチコアコンピュータに使用できます。

例えば

LeoTask：マルチコアコンピューターのApache Hadoopの2.7.3のために

https://github.com/mleoking/LeoTask

Answer 3

ため、軽量で生産性、および信頼性のMapReduceフレームワーク、私の経験はYARNを有効にするとも可能になるとされていますマルチコアサポート。ここでは、単一ノード上でYARNを有効にするための簡単なガイドです：

https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_a_Single_Node

デフォルトの設定はかなりうまく動作するようです。コア使用量を調整したい場合は、yarn-site.xml内の 'yarn.scheduler.minimum-allocation-vcores'と 'yarn.scheduler.maximum-allocation-vcores'を設定します（https://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml）

また、マルチコアサポートを備えた単純なHadoopサンドボックスを設定する方法については、こちらを参照してください。https://bitbucket.org/aperezrathke/hadoop-aee