MapReduceジョブの場合、コアが4つのマシンを1つ使用していて、コアが1つのマシンを4つ使用していますか？

Question

私はGoogle Cloudでクラスタを作成していますが、使用するマシンの数と各マシン上のコアの数を選択するように求めました。 MapReduceジョブを実行したい場合は、それぞれ1コアの8台のマシンを要求し、それぞれに4つのコアを備えた2台のマシンを求めるのは、実際的な違いですか？

Answer 1

タイトルと本文の質問が異なります。

4x1coreと1x4coreのいずれかを選択すると、後者はデータローカリティの利点があります。マッパーとレデューサーの間でデータ転送が行われず、すべてのデータが同じマシン上にあります。

考慮すべきもう1つの重要な要素は、RAMの量です。 16GBのRAMを搭載した1台のマシンと2GBのRAMを搭載した8台のマシンのどちらかを選択する必要がある場合、最初のオプションを選択する方がよいでしょう。アルゴリズムによってはメモリにたくさんのものをロードする必要があります。それらを実行します。

最後に覚えておきたいこと：クラスタ内のすべてのマシンに対して同じ設定をすることが重要です。そうでなければ、以前に完了し、遅いものを待つでしょう。クラスタが大きくなる場合は、今すぐ最適な構成を選択してください。

短いストーリー：ほとんどのシナリオでは、上位ティアマシンの方がパフォーマンスが向上します。可能であれば選択してください。