apache-kafka-connect

2熱

1答えて

ノードの再起動後に私のKafka Connectワーカー構成が失われたという問題がありました。（http://broker:port/connectors/ - >空の配列） "retention.ms"設定と関係があると思います。接続設定も "config.storage.topic"に保存されているので、 "retention.ms"の後に削除されます。だから私は非常に高い "retenti

1熱

1答えて

kafka0.10.xの

でグループリストをすべて取得するにはどうすればいいですか？kafka0.8.xを使用すると、0.8/0.8のzookeeperにコミットするため、 "/ consumers/group_id"というパスですべてのグループリストを取得できます。。バツ。しかし、0.10.xのバージョンでは、zookeeperのパス "/ brokers/topics/__ consumer_offsets"とパス

0熱

1答えて

は、私は特定のトピックに1つのワーカーで分散モードでカフカConnnectインスタンスの情報を送信しようとした別のカフカトピック

にカフカの接続の異なるインスタンスを送信し、私は「archive.properties」ファイルのそれをトピック名を持っていますインスタンスを起動するときに使用します。しかし、私は5つの以上のインスタンスを送信するとき、私はメッセージはすべてのトピックに合併参照してください。「ソリューションは、」私はIDと話題の関係を格納するためのマップを作成したと思ったが、それはこれを行うには、特定のカフ

0熱

2答えて

kafka connectを使用するベストプラクティス

KAFKA接続用のベストプラクティスは何ですか？HDFSコネクタを使用するベストプラクティスは何ですか？私のkafkaインスタンスはAWSホスト名a.b.c.dで実行されています。私のhadoop namenodeはAWSホスト名p.q.r.sです。開発/ POCの目的で、kafkaインスタンスを実行しているのと同じボックス、つまりa.b.c.dでコンフルエントにしています。 HDFSクラスタの

1熱

1答えて

Kafka Connectでコネクタを作成する分散エラーが返る500エラー

私はCamusからKafka Connectへの移行に取り組んでいます。私はKafka Connectの実装に取り組んでおり、具体的には分散モードに焦点を当てています。私は私のカフカクラスターと通信している私のローカルマシン上で正常に作業者を開始することができます。私はさらに、正しいJSONを返す/と/connector-pluginsのような2つのGETコマンドを実行することができます。しか

3熱

1答えて

私が作成したノードを殺したときにKafka分散コネクタが死んでしまうのはなぜですか？

私はKafkaノードコンテナとは別に、ローカルの「起動」Dockerコンテナで分散モードでKafkaコネクタを起動しています。コネクタは正常に動作しますが、起動コンテナを強制終了すると、コネクタは動作を停止します。私はそれが登録され、別のコンテナにあるカフカノードのワーカーで実行されていると信じて以来、作業を続けることを期待していました。私の設定は以下の通りです：現在、私はDockerコンテナを

1熱

1答えて

KafkaのトピックをMySqlにエクスポート

デバッグの目的で、しばしばKafkaトピックのメッセージを分析/検査したいと思います。私は、カフカトピックからMySql DBにデータをエクスポートするコネクタを作成できると思います。私はそれに深く没頭する前に、それが実行可能なアプローチであることを確認したいと思いますか？もしそうなら、私に例を教えてください。

0熱

1答えて

debezium kafkaコネクタを持つレプリカセットの2番目のmongodbノードからどうやって尾を引くことができますか？

debezium mongodb kafkaソースコネクタをプライマリではなくレプリカセットのセカンダリノードに対して使用したいと考えています（少なくとも開始時には、メインストリーム機能に何らかの影響を与えないようにしてください）。 Debezium mongodbチュートリアルでは、"コネクタは常に複製セットのプライマリノードを使用して、メッセージを追跡します"と記載しています。しかし、auto

0熱

2答えて

Apache Kafkaでメッセージが切り捨てられました

私はkafkaが新しく、ローカルのデフォルト設定でkafka 10をインストールしました。今、私は問題に直面しています。私はコンソールプロデューサーからメッセージを出しています。メッセージが約4096バイトの場合。それから、それはコンソールの消費者からうまく消費されます。しかし、メッセージサイズを4096バイトから増やすと、メッセージを消費すると約4096バイトに切り捨てられます。問題が発生

2熱

1答えて

カフカでアップセートが可能ElasticSearchに接続

カフカで終わるイベントを受け取りました。これらのイベントから、私はKafka Streamsアプリケーションを使用してIDを取得し、別のトピックの（id、1）のペアとしてKafkaにポストします。 idがすでにElasticSearchに存在するかどうかを確認したい場合は、そのカウンタを更新します。そうでない場合は、カフカのIDとカウンタを1に設定したElasticSearchで新しいレコードを作