kafkaコネクタを使用する簡単なケースを作成しようとしていました。私のセットアップでは、N1、N2、N3の3つのノードを使用します。 N1がソースで、N2、N3が私の場合はシンクノードです。 ノードN1のテキストファイル(たとえばinput.txt)にデータを書き込み、スタンドアロンのカフカコネクタを使用すると、ノードN2とN3のinput.txtに似た内容のテキストファイルが表示されます。Kafkaを使用して入力データの完全なコピーをシンクノードに接続
トピック名、ファイル名、tasks.maxを変更するためにREST APIを使用しています。 しかし、実験中、両方のノード(N2とN3)でinput.txtの完全なコピーを同時に取得することができませんでした。
また、ノードデータが送信されることになったシンクコネクタのノード(N2およびN3)のtasks.maxの値を調整します。
私の質問は、私がそのような結果を期待して間違っているかどうかです。 もしそうなら、私は実験の結果として何を期待していますか? もしそうでなければ、私はどのように私の望む成果を得ることができますか?
私はこの問題について助けていただければ幸いです。
こんにちは:
密集ディスカッショングループから下のリンク
は説明をサポートしています。あなたは、N1がソースコネクタであると伝えています。あなたは、ソースコネクタがカフカとシンクコネクタにデータをプッシュする必要があることを理解する必要があります。N2とN3はカフカからのメッセージを取得し、(ファイル、データベース)などのシンクにプッシュする必要があります。 – Renukaradhyaコメントする前にまずKafkaコネクタのFileStreamの例を理解しておく必要があります。 N1で動作しているソースコネクタは、ファイルから読み取り、データをトピックにプッシュします。 シンクコネクタN2とN3は、トピックからメッセージを購読します。 – tjee