ソーシャルネットワーク分析を収集するためのビッグデータDBの提案

Question

ソーシャルネットワークのデータを毎時収集し、特定のシェア/ポストで何が起こっているかをサンプリングするシステムを構築したいと考えています。 クロールをやり終えたら、後で分析できる大きなデーターベースに保存します。

解析プロセスは、潜在的にスパークまたはアプリケーションコード分析である可能性があります。 これは、私に可能な最良のDBを探していることを意味します。 1.クエリ。 2. Sparkと他の一般的に使用されるデータ処理を使用することができます。

どちらをお勧めしますか？ HBase？ MongoDB？ Couchbase？ BigTable？ DynamoDB？

ありがとうございます！

Answer 1

あなたはsparkについて言及しているので、私は1日GBのデータを保存する必要があると思います。この入力データは決して変更されません（読み取り専用）。s3やhdfsなどのファイルに生データを保存することをおすすめします。 jsonとしてのファイルからの読み込みは、どのデータベースからの読み込みよりも速く、あなたのスパークジョブは、hdfsまたはhbaseまたはcouchbaseのどちらからでも同じです。ファイルストレージも安くなります。

まだhbaseに保存したい場合は、phoenixを使用してもsqlクエリ機能はほとんど提供されません.hbaseはキー値dbであり、多くのセカンダリインデックステーブルと重複データこの種のバッチユースケースのために。