2017-04-06 8 views
-1

kafkaコネクタを使用する簡単なケースを作成しようとしていました。私のセットアップでは、N1、N2、N3の3つのノードを使用します。 N1がソースで、N2、N3が私の場合はシンクノードです。 ノードN1のテキストファイル(たとえばinput.txt)にデータを書き込み、スタンドアロンのカフカコネクタを使用すると、ノードN2とN3のinput.txtに似た内容のテキストファイルが表示されます。Kafkaを使用して入力データの完全なコピーをシンクノードに接続

トピック名、ファイル名、tasks.maxを変更するためにREST APIを使用しています。 しかし、実験中、両方のノード(N2とN3)でinput.txtの完全なコピーを同時に取得することができませんでした。

また、ノードデータが送信されることになったシンクコネクタのノード(N2およびN3)のtasks.maxの値を調整します。

私の質問は、私がそのような結果を期待して間違っているかどうかです。 もしそうなら、私は実験の結果として何を期待していますか? もしそうでなければ、私はどのように私の望む成果を得ることができますか?

私はこの問題について助けていただければ幸いです。

+0

こんにちは:

密集ディスカッショングループから下のリンク

は説明をサポートしています。あなたは、N1がソースコネクタであると伝えています。あなたは、ソースコネクタがカフカとシンクコネクタにデータをプッシュする必要があることを理解する必要があります。N2とN3はカフカからのメッセージを取得し、(ファイル、データベース)などのシンクにプッシュする必要があります。 – Renukaradhya

+0

コメントする前にまずKafkaコネクタのFileStreamの例を理解しておく必要があります。 N1で動作しているソースコネクタは、ファイルから読み取り、データをトピックにプッシュします。 シンクコネクタN2とN3は、トピックからメッセージを購読します。 – tjee

答えて

0

シンクN2とN3の両方に同じ消費者グループ名を実際に使用していたため、シンクN2とN3で受信されたデータはそれらの間で分割されました。

両方シンクN2及びN3は、独立した加入者を機能させることconnect-file-sink-n2.propertiesconnect-file-sink-n3.propertiesにグループ名(「名前」)を変更し完全なデータを受け取る。あなたはとても明確ではない質問、 https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!topic/confluent-platform/SUn2OmXSAXY

関連する問題