カフカ：カフカに複数の着信ファイルを作成するには？

Question

私たちは、Kafka Producerが着信ファイルのリストを読んで、それらをKafkaトピックに生成するシナリオを持っています。私はFileSourceConnector（http://docs.confluent.io/3.1.0/connect/connect-filestream/filestream_connector.html）について読んだことがあるが、1つのファイルだけを読み込み、そのファイルに新しい行を追加する。ファイルのローテーションは処理されません。いくつかの質問： 1）私たちの要件を満たすために独自のプロデューサコードを実装する方が良いか、新しいファイルを読み込んでKafkaのトピックに送るようにFile Connectorクラスを拡張することができますか？ 2）このシナリオで使用できる他のソースコネクタはありますか？

パフォーマンスと開発の容易さの面では、どのアプローチが優れていますか？プロデューサコードを開発してファイルを読み込んでカフカに送信するか、コネクタコードを拡張して変更を加えます。

どのようなフィードバックでも大歓迎です！ ありがとうございました！

Answer 1

「Akka Streams - Reactive Kafka」をご覧ください。 https://github.com/akka/reactive-kafka

チェックこの例：https://github.com/ktoso/akka-streams-alpakka-talk-demos-2016/blob/master/src/main/java/javaone/step1_file_to_kafka/Step1KafkaLogStreamer.java

Answer 2

あなたが示唆したようにプロデューサーを書くことができます - またはより良いまだ、私は個人的に直接プロデューサーのAPIを使用developer API

Answer 3

を使用して独自のコネクタを書きます。私はファイルのローテーションを処理し、リアルタイムで公開することができました。ファイルがソースシステムとシンクシステムで正確に同じであることを確認するのは難しいことでした（正確に1回の処理）。