カフカストリームを使用してelasticsearchイベントに基づくテーブルを作成する

Question

カフカストリーミングを使用して、カフカトピックからJSONを読み込んでパイプラインを作成し、それらとロジックを実行して、別のカフカトピックなどに結果を送信できますか？

たとえば、elasticsearchのログを使用してトピックを作成します。シンプルなlogstashパイプラインを使用すれば簡単です。

カフカのトピックでログを取得したら、ログからいくつかの情報を抽出してN列の「テーブル」に入れたいと思います（これはカフカが可能ですか？）。テーブルの別の場所（別のトピックまたはデータベース）。

私の基準を満たす例は見つかりませんでした。

ありがとう

Answer 1

はい、可能です。

kafkaまたはkafka-streamsの列の概念はありません。しかし、通常は、必要なフィールド（この場合はフィールドは列に相当）を使用して、選択したプレーンな古いJavaオブジェクトを定義するだけです。その形式の出力を出力トピックに生成します（適切に選択されたシリアライザを使用します）。最後に、リレーショナルデータベースに結果を格納する場合は、通常、kafka connect jdbcシンクを使用してフィールドを列にマップします。http://docs.confluent.io/current/connect/connect-jdbc/docs/sink_connector.html