私は大量のテレメトリデータを読み込むプロジェクトを持っています。遠隔測定は「チャネル」から成り、チャネルはしばしば単一のセンサからの値である。例えば、温度センサ。大量のテレメトリの処理
各読み取りがから成る:
A:測定値
B:チャンネルID
C:測定
の時間は、我々は、(500ヘルツまで、テレメトリーかなり高い割合を受け取ります1秒につき500サンプル)、各チャンネルにつき1Hz程度の低さです。同時チャンネル数は通常約150です。
各チャンネルのレートは正確であるとは限りません。
私は、データを処理して後で値を表示するためのコレクション/アルゴリズムを探しています。ディスプレイはグラフと数値の読み取り値で構成されています。
通常、データは順次受信されますが、より長い期間の停止が発生する可能性があります。また、停電の欠落データは後で受信することができます。
ストーリーが短いので、データを構成できるコレクションが必要です。
A:Value(時間)のように1つの読み取り値に時間通りにアクセスできる必要があります。
B:時刻aから時刻bまで順番に値を読み取ることができなければなりません。
C:新しい値を最後か中間に挿入します。
私はskiplist(http://en.wikipedia.org/wiki/Skiplist)を使用して実装しました。それはすべての要件を満たしているようだが、それはたくさんの記憶を食べる。 My initial calculationsは、測定値の5〜10倍の間のどこかに示した。実際それはそれより高いです。
また、値をデータベースに追加してそこから読み取ることも考えられましたが、遅いと思われます.SQLサーバーに多くの値を高速に挿入することはできません。
だから、これを行うことができるコレクション/アルゴリズムに関する考えはありますか?
私は間違いなくそれを見ていきます。 –