couchdbのようなデータストアのMapReduceとHadoopのMapReduceの違いは？

Question

最近、Couchbaseのウェビナーで、Hadoopは大規模なログファイルを処理するために使用され、Couchbaseはアプリケーション層に提示するために使用されると述べました。彼らは、CouchbaseとHadoopのマップと縮小が異なっており、前述のそれぞれのユースケースに適していると主張しました。 私は、ログファイルの大きなamouontを処理するためにCouchbase map reduceを使用するつもりでした。 2人のマップの正確な違いを明確にすることができますか？ Hadoopに大きなログファイルの処理に適した機能がありますか？

おかげで...

Answer 1

Couchbaseのは、多くのNoSQLデータ・ストレージ・アプリケーションの一つです。データは、キー/値のペアに格納され、キーのインデックスが付いているため、迅速な検索が可能です。

逆に、hadoopのデータは索引付けされず（ファイル名以外）、HDFS内のファイルから特定の値を取り出す方がはるかに遅く、多くのファイルをスキャンする可能性があります。

通常、大きなファイルを処理したり、NoSQLストア（Couchbaseなど）を更新/設定するには、Hadoop mapreduceのようなものを使用します。

大量のデータを処理するためにNoSQLデータストアを使用することは、MapReduceを使用して同じジョブを実行する場合よりも効率が悪い可能性があります。しかし、NoSQLデータストアは、MapReduceジョブ（初期化には10秒、実行には数分かかる）よりもかなり効率的にWebレイヤーを処理できます。

Answer 2

couchbaseがインクリメンタルマップ/リダクションを使用しており、アイテムを更新または削除するために必要なすべてのデータセットをスキャンしないという主な違いがあります。別の違いは、「大」の大きさです。一度に数百ギガバイトのログを処理する必要がある場合、couchbaseは最良の選択ではありません。