kafkaプラットフォームが次の仕事に適しているかどうかを知りたいと思います。データベースの行をフィルタリングする
私は複数のテーブルを持つ完全なデータベースを取り込みしようとしています。一度Kafkaによって摂取されると、条件に基づいてテーブルの行をフィルタリングしたいと思います。
私は、カフカストリームを使用するのは簡単な仕事だと思いますが、フィルタによって拒否されたメッセージはどうなりますか？
たとえば、日付などに基づいて条件が満たされている可能性があります。拒否されたメッセージを再びフィルタリングして最終的にフィルタを通過させ、さらに処理する可能性がありますか？
カフカにフィードする前にデータの行をフィルタリングする方が良いですか？
ありがとうございます。
あなたは
MySQLのDebeziumコネクタの詳細は、コンフルエントJDBCコネクタにhttp://debezium.io/docs/connectors/mysql
詳細を参照してください両方カフカの接続に基づいており、このようなDebeziumまたはコンフルエントJDBCソースコネクタとしてデータベースコネクタを使用して検討する必要がありますhttp://docs.confluent.io/current/connect/connect-jdbc/docs/source_connector.html
Kafka Connectに基づくコネクタを使用すると、Kafka Connectのシングルメッセージ変換（SMT）機能を使用して、Kafkaに公開する前にデータ行をフィルタリングできます。
カフカでの行フィルタリングについての説明を参照してください。Kafka connect (Single message transform) row filtering