cassandとhadoopを使用したビッグデータラムダアーキテクチャ

Question

私は、センサーデータと予測分析のためのビッグデータソリューションに取り組んでいます。 私はBig Dataを初めて使い、ラムダアーキテクチャについて読んだことがあります。 私はCassandra DatabaseをHadoopと一緒に使うことを考えました。 Cassandraは、高可用性およびパーティション耐性データベースであり、Hadoopは大規模な分析ジョブ用のファイルシステムです。

Thingsデバイスのインターネットからデータを受け取った場合、データはまずHadoopに保存してからCassandraに保存する必要がありますか？ ラムダアーキテクチャでは、Hadoopがバッチレイヤにあり、データを受け取り、サービングレイヤに送信してnosqlデータベースに送ります。

なぜデータがHadoopで最初になるべきですか？ とHadoopに生データが含まれている場合、どのようなデータがCassandraに保存されていますか？

現在ストリーム層のフォーカスが外れています。 私はCassandraとHadoopの使い方を一緒に理解したいだけです。

Hadoopのデータは大規模な分析用であり、cassandraのデータはHadoopのジョブの結果である必要があります。

これは、私が生データを両方に保存できることを意味しますか？大規模な分析ジョブが私のアプリケーションに役立つだけでなく、私の生データをCassandraとHadoopに保存できますか？

例

INSERT INTO temperature(weatherstation_id,event_time,temperature) 
VALUES (’1234ABCD’,’2013-04-03 07:02:00′,’73F’); 

これは私のインサートであると私は1つの分でそれらの数千人を持っている場合。 私はHadoopを使用していくつかの大きな仕事をしたいですか？

また、私は分析のないアプリケーションのためにすべての単一のデータ行が必要です。カサンドラもそれを保管していますか？

Answer 1

遅延は、遅延とスループットの間にあります。 Hadoopは高いスループットを提供するはずですが、レイテンシはかなり高いです。したがって、hadoopはラムダアーキテクチャのバッチ処理に使用されます。しかし、あらかじめ計算されたデータ（または集計されたデータ）を視覚化レイヤーのような別のレイヤーに渡す必要がある場合があります。これらの事前計算データは、基本的にはcassandraまたはhbaseに格納され、待ち時間が短くなります。

Answer 2

IoTデバイスからデータを受信すると、できるだけ早くこのデータを保存する必要があります。それはまさにカサンドラがすばらしいものです。
このデータを処理する必要があり、データ量が多いため、現実的なケースでは、オンザフライでのデータ処理は必要なく、代わりにバッチ処理（夜間など）が必要です。
ここでは、Hadoopの順番です。
Cassandraからデータを抽出して、Hadoopのファイルシステム（hdfs）に入れてから、何らかの処理を行います（HiveまたはSpark経由）。
あなたはCassandra-Sparkのダイレクトストリーミングジョブを考えることもできますが、このデータをサンドボックス（ジョブのデバッグ、新しいアルゴリズムのテストなど）として使用することができるため、Cassandraのデータを最初にコピーすることをお勧めしますCasandraクラスタのパフォーマンスへの影響。

Answer 3

カサンドラと大きなデータhereについて読むことができます。
免責事項：私はこの投稿の著者です。