stream-processing

1熱

1答えて

カッパアーキテクチャでは、データを2つのストリームに分割するのではなく、ストリームで直接解析すると、カッパのようなメッセージングシステムではどこにデータが格納されますか？データベースを再計算することはできますか？バッチ分析用にストリーム処理エンジンを使用して再計算するよりも、別のバッチレイヤが高速ですか？リアルタイムデータおよび履歴データに適用されるアルゴリズムが同一であるときに考慮すべき非常

4熱

1答えて

Apache ApexとApache Flink

両方ともイベントを一度に処理するストリーミングフレームワークなので、これら2つのテクノロジ/ストリーミングフレームワークのコアアーキテクチャの違いは何ですか？さらに、あるものが他のものよりも適切な場合はいくつかありますか？

1熱

1答えて

backtype.stormとorg.apache.storm＆com.twitter.heronパッケージのクラスの違い

私はapache heron用のカスタムスケジューラを書きたいと思っています。私はソースコードを少し深く掘り下げています。私は、heronのソースコードには、同様のクラスのパッケージがいくつかあることに気付きました。例えば、backtype.storm & org.apache.stormのクラスのほとんどは、（内部コードが同一であるように全く似ています）類似しています。これら2つのパッケージ間に

2熱

2答えて

Camel-Kafkaコンポーネントが動作しないというエラー：「ブローカーが設定されているため」

Apache Camel（バージョン2.19.1）にkafkaコンポーネントを使用してエラーが発生しました。 ... context.addRoutes(new RouteBuilder() { public void configure() { from("kafka://localhost:9092?topic=test&groupId=testing")

0熱

1答えて

Reallifeの分散ストリーミングアプリケーション（グラフとトランザクション）

現在、分散ストリーム処理システムを研究中です。ストーム、フリンク、スパークストリーミング私はこれらのシステムでいくつかのアプリケーションを実装し、それらを簡単に比較したいと思います。私は、次のような状況を処理するためにこれらのシステムを使用する会社が存在し、データストリームの規模は何かと思います。大きいグラフが複数のマシンに分散させることができると我々はグラフ上にいくつかの更新（頂点またはエッジ

1熱

1答えて

カスタム変換にKafkaストリームを使用する

私はApache Kafkaを使用してETLデータパイプラインを実装しています。私はKafka Connectを抽出と読み込みに使用しました。 Connectはソースデータを読み込み、カフェのトピックの実際のデータをJSONの形式で使用します。変換フェーズで私はカフカのトピックからJSONデータを読み込み、必要なカスタムビジネスロジックに基づいてSQLクエリーに変換し、カフカのトピックを出力する

1熱

1答えて

クラウドゲートウェイからのIoTデータの取り込みに関するアプローチ

IoTデータの取り込みに関する洞察をお聞きしたいと思います。 AWS IoTハブでは、物影は物理的なものを仮想的に表現したものです。私が下の図から理解していることは、物事がメッセージブローカー経由でプラットフォームにデータを送信するとき、物事の影とルールエンジンの部分が同じセンサーデータを同時に取得して処理するときです。私の結論は正しいですか？シャドーシステムはメッセージブローカーに登録され、

0熱

1答えて

古いデータをマージしてElasticsearchのスペースを節約する方法

これについての情報を見つけようとしましたが、探していたものが見つかりませんでした。私はElasticsearchデータベースに毎分メトリックを保存しています。私の考えは、頻度は短期間でしか重要ではないということです。たとえば、前週のメトリックを毎分測定したいのですが、過去1週間に1つのメトリックのドキュメントしか持たないように、これらのメトリックを結合したいと考えています。したがって、私はそ

1熱

1答えて

Apache Flinkでストリームをセッション化する方法は？

私はこのストリームをセッションしたい：1,1,1,2,2,2,2,2,3,3,3,3,3,3,3,3,3,3,3,5、。。これらのセッションへ： 1,1,1 2,2,2,2,2 3,3,3,3,3,3,3 0 3,3,3 5 私は、ストリーム要素は、（そうで、2〜3 3 0にして）1から2に変更したときに検出し、トリガーを起動するCustomTriggerを書いてきました。しかし、