Hadoop/Cassandra - 何千ものセンサーのデータを保存し分析する方法は？

Question

私はBig Dataテクノロジ、特にCassandraにはかなり新しいので、私はあなたがしなければならない作業についてのアドバイスが必要です。私はtimeseriesを扱うことに関するDatastaxの例を探していましたが、このトピックについてはここでは別の議論がありますが、もし私が何かを見逃してしまったかもしれないと思ったら、教えてください。 これは私の問題です。

私たちがテストしている約100個のセンサーステーションからのデータを保存し分析する必要があります。各センサステーションには、数千個のセンサがあります。したがって、各ステーションでは、センサーが数ミリ秒ごとに情報を記録している間に（ブール値、整数または浮動小数点数）、いくつかのテストを実行します（それぞれ約2時間30分程度）。各テストの記録はテスト中にステーションに保存され、テストが完了したら私に送信されます。テストごとに約10 GBを意味します（各パラメータは約1 MBの情報です）。 Hierarchy description

は今、私はテストのためのスパークとカサンドラの小さなHadoopのクラスタへのアクセス権を持っている：ここでは

は、階層構造を説明するためのスキーマです。私は他のツールをインストールすることができるかもしれませんが、Spark/Cassandraとの作業を続けていただければ幸いです。

私の質問は、これらのセンサーからの情報を保存して保存するための最良のデータモデルとは何でしょうか？ 「分析」により

、Iは平均：

• はMIN、MAX、特定ステーションに特定のセンサによって記録された特定のパラメータに平均値を求めます。または特定のパラメータの値をすべてのステーションで見つけることができます。特定のパラメータの値を見つけることができますが、同じステーションの他のパラメータ（1つまたは2つ）が限界より高い場合は、1つまたは複数のパラメータの展開を視覚的にプロットします（異なるステーションの同じパラメータ、または同じステーション上の異なるパラメータ）

• パラメータまたはステーション間の相関分析を行います（たとえば、センサが機能していないかどうかを調べるなど）。

  私は、次のデータ・モデルとカサンドラ表内のすべての情報を置くことを考えていた

：

CREATE TABLE data_stations (
station text,   // station ID 
test int,    // test ID 
parameter text,   // name of recorded parameter/sensor 
tps timestamp,   // timestamp 
val float,    // measured value 
PRIMARY KEY ((station, test, parameter), tps) 
); 

つのテーブルには、すべてのデータを処理できるようになる場合は、私は知りません：各パーティションが「唯一」であっても、前例のデータモデル（100ステーション×10テスト×10 000パラメータ×9,000,000ms（2h30ミリ秒）〜= 10^14）に従って、10^14の異なる行を与える行。

他のアイデアは、異なるテーブル（たとえば、ステーションごとに1つのテーブル、またはステーションごとにテストごとに1つのテーブルなど）でデータを分割することでした。私は何を選択するかわからないので、アドバイスは大歓迎です！

ご連絡いただきありがとうございます。詳細や詳細が必要な場合は、さらにお気軽にお問い合わせください。

Piar

Answer 1

あなたは適切なトラックにいるので、カサンドラはそのようなデータを処理できます。列ファミリに必要なすべてのデータを格納し、Apache Spark以上Cassandraを使用して必要な集計を行うことができます。

私は、Apache Sparkが集計や相関計算に使用できるため、あなたのユースケースには良いと感じています。

Apache HiveはHDFS内のデータを直接（外部テーブルを介して）処理/照会できるので、チェックアウトすることもできます。

これらをチェックしてください：あなたの迅速な答えを

Cassandra - Max. size of wide rows?

Limitations of Cassandra