2012-04-30 2 views
10

私はイベントストリームとキーバリューストレージを持っています。 値のサイズは4KBに制限されています。イベントレートはそれほど重くはありません - 最大数百日。集約とスライディングウィンドウの実装のためのJavaフレームワーク

この値では、毎日と毎週の集計と1/2のスライディングウィンドウで3か月の期間にわたって集計されたイベントカウントを読み込み、格納、更新するための効率的なメカニズムを提供するデータ構造のシリアル化された表現を保存する必要があります1時間。

単純なイベント数の集計とイベント数の標準偏差の両方に対して、以下のタスクを効率的に実行する必要があります。 (下記のすべてのタスクの最大期間は3ヶ月です):

  1. 一定のアップデート(怠惰なやり方で - 対応するイベントが到着すると) - の場合には、最新の計算集計が古すぎるということ - スロー最新の計算集計が古すぎる場合には、古いデータと新しい集計を作成して新しい集計を作成します。
  2. 読み取り要求(ユーザーが特定のユーザーのイベント数、単一ユーザーのイベント数の標準偏差など)

私は疑問に思う:上記のを実装するのを助けることができるJavaのオープンソースフレームワークはありますか?ソリューションは、標準のJava APIを使用してゼロから実装するのは難しいことではありませんが、それを行う前に、私はいくつかのオープンソースのフレームワークの提案を(もしあれば)感謝のデザインパターンなど

私はまた、設計提言をいただければ幸いです。

理論的な記事、SQLベースのソリューション、およびIBM(非オープンソースのツールキットSPL)を除いて、ソリューションのためのグーグルで私を導くことはできませんでした。

答えて

関連する問題