2017-11-03 7 views
0

入力/出力がローカルファイルシステムの場合、MapReduce処理はどのように機能しますか?MapReduceの処理はローカルファイルシステムとどのように機能しますか?

MapReduceジョブの実行は、Hadoopクラスタ全体で非同期に行われますか? はいの場合、どうなりますか?

私たちは実際にこのアプローチを使用する必要がありますか? (それは、ローカルシステムではなく、クラスタ内の低効率になるように効率の唯一の問題)

+0

どのアプローチを使用しますか?ローカルファイルシステムからの読み取りは、小さなファイルセットをテストする場合にのみ意味があります。この場合、Hadoopは本当に必要ではありません –

+0

@ cricket_007私たちは実際にこのアプローチを使用する必要がありますか?「クラスタ上のローカルファイルシステムを使用するHadoop MapReduceジョブ」? –

+0

クラスタを使用している場合は、ローカルファイルシステムを使用しません。データをHDFSに入れてから処理してください –

答えて

3
  1. はMapReduceは、ローカルシステム(mapper->減速)

    においても同様に動作します。

  2. はい、MapReduceのジョブの実行がHadoopクラスタ全体で非同期的に起こり、これは使用例ほとんどは

    クリックfor more about scheduler

  3. を(それは、スケジューラの種類、あなたのMapReduceプログラムで使用しているに依存します)テスト目的(ローカルシステムでmapreduceプログラムを実行する)。

+0

ありがとうAndani。私はそれらをすべて見ます。 –

関連する問題