Kafka、Storm、Elasticsearchでデータパイプラインを構築する

Question

フォーマットが異なる別々のシステムに移動する必要のある受信データストリーム（ウェブサイトからデータを取り除いたデータ）があります。ストリームはJSON形式で非常に詳細に届きますので、ElasticSearchにプッシュする必要がありますが、このデータの一部をリレーショナルデータベースやグラフデータベースに追加する必要があります。 これは、ElasticSearch、Neo4Jなどの消費者とKafka/Stormの良いユースケースですか？また、監視システムの情報を最初のストリームから派生させたいので、監視用の消費者も持っているかもしれません。 これは、このユースケースがKafkaやStormのようなものを見るのが理にかなっていれば、もっと建築的な疑問です。 ありがとう フィリピン

Answer 1

はいいいえ、データをストリーミングし、そのデータを別のデータベースにプッシュするための良いケースKafkaのようです。処理側では、Storm、Flink、Sparkなどの複数のオプションがあります。ユースケースに基づいて1つを選択できます。