Hadoop Map/Reduce対組み込みマップ/ Reduce

Question

Hadoop map/reduce vs Mongoの組み込みマップ/縮小を使用してMongoDBのマップ/リダクション作業を行う主な違いは何ですか？

エンジンはどのように選択すればよいですか？ mongodbに格納されたデータを処理する各エンジンの賛否両論は何ですか？

Answer 1

私の答えは、Hadoop MRの知識と経験、Mongo DB MRの学習に基づいています。 違いは以下のとおりです：MongoDBの者がJavaScriptである一方、

1. のHadoopのMRは、Javaで記述することができます。 は大きな違いが何であるかを参照して、選択の基準を定義しようとすることができます
   
2. HadoopのMRはすべてのコアを利用できますが、MongoDBはシングルスレッドです。
   
3. Mongo DBはコロケートされていますが、Hadoop MRはデータとコロケートされません。
   
4. HadoopのMRは、エンジン/時間の何百万を持っており、出力の巨大なサイズで、多くのコーナーケースに対処することができ、データはスキューなど
   
5. のHadoopの上に構築され、カスケード豚、ハイブのような高いレベルのフレームワークがありますが、 MRエンジン。
   
6. Hadoop MRは主流であり、多くのコミュニティサポートが利用可能です。
   

私は選択のための以下の基準を提案することができ、上から：
選択モンゴDB MRあなたは、単純なグループによると、フィルタリングが必要な場合は、マップ間の重いシャッフルを期待して低減しません。言い換えれば - 単純なもの。

複雑な、計算上強烈なMRジョブ（たとえば、回帰計算など）を行う場合は、hadoop MRを選択します。 mapとreduceの間に多くの、または予測できないデータサイズを持つことは、Hadoop MRを示唆しています。

Javaは、特に統計的に、より多くのライブラリを持つ強力な言語です。それは考慮に入れるべきです。

Answer 2

私はHadoop MRで多くの経験はありませんが、私の印象はHDFSでしか動作しないため、HDFSですべてのMongoデータを複製する必要があるということです。すべてのデータを複製したいなら、Hadoop MRはMongo MRよりはるかに高速で強力です。

Answer 3

MongoDB 2.4の時点でMapReduceジョブはシングルスレッド化されていません。

また、MongoDBでアグリゲートやその他の分析ワークロードを実行するための、より高性能で宣言的な方法については、Aggregation Frameworkを参照してください。

Answer 4

項目3は、Hadoopに関しては確かに間違っています。データとのコロケーションを処理することは、Hadoopの基礎の一部です。