kafka-consumer-api

1熱

2答えて

は、どのように私は、サーバーからのトピックの最初からのすべてのメッセージを取得したいと思いカフカサーバ

からトピック内のすべてのメッセージを取得します。例：ビン/ kafka-console-consumer.sh --zookeeperはlocalhost：上記のコンソールコマンドを使用する場合は2181 --topic testTopic を--from-始め、I最初からトピック内のすべてのメッセージを取得したいのですが、トピック内のすべてのメッセージをJavaコードを使用して最初から使用す

-2熱

1答えて

ラクダでKAFKAエンドポイントを設定する

私はラクダでkafkaエンドポイントを設定しています。 public class KAFKAConsumer extends RouteBuilder{ private final String URLSEPARATOR = "&"; @Autowired private RouteProperties routeProperties; MyClass

2熱

2答えて

KafkaException：ウォン要求タイプ18

は、私は最近、カフカのトピックからメッセージを消費しようとし、次のエラーメッセージで迎えられた：あなたはおそらくカフカブローカーがマッピングされ、エラーメッセージから言うことができるように [2016-08-15 17:56:05,025] INFO Closing socket connection to /192.168.34.11. (kafka.network.Processor) [2

1熱

2答えて

Logsatshとkafka

私はサーバマシンでシングルノードkafkaを実行しています。次のコマンドを使って、 "bin/kafka-topics.sh --create --zookeeper localhost：2181 --replication-factor 1 --partitions 1 --topic test"というトピックを作成しました。私は2つのlogstashインスタンスを実行しています。最初の1つ

0熱

1答えて

カフカレストの例

JavaでカフカレストAPIを使用しているプロデューサとコンシューマグループの良い例はありますか？イムは、生産者と消費者のsimpleconsumerまたはkafkaクライアントの例を探していません。あらゆる援助が評価されます。

0熱

1答えて

カフカ接続チュートリアルでは、私はステップ＃7は、このリンクで（使用カフカの接続は、/エクスポートデータをインポートするために）従っていました

を動作を停止：私は「test.txtという」を削除するまで http://kafka.apache.org/documentation.html#quickstart これはよく働いていましたファイル。主にlog4jファイルの動作方法です一定の時間が経過すると、ファイルが回転します。つまり、名前が&に変更され、同じ名前の新しいファイルが書き込まれます。しかし、「test.txt」を削除した後、コ

0熱

1答えて

カフカのログをロールオーバーするとどうなりますか？消費者が古いログファイルのメッセージを見逃していますか？

私がカフカでログのロールオーバーを引き起こしたメッセージを追加したとしましょう。したがって、このメッセージとその直前のメッセージは、アーカイブ/ロールログファイルに格納されます。これらのメッセージが欠落していますか？言い換えれば、消費者がこのメッセージを受信しない場合はどうなりますか？カフカはこのシナリオをどのように扱いますか？

4熱

1答えて

カフカを使用してファイルを転送することはできますか？

私はカフカを使用してストリーミングするために毎日何千ものファイルを生成しています。ファイルを読み込もうとすると、各行は別のメッセージとして扱われます。私は、カフカのトピックの1つのメッセージとして、そして消費者と一緒に、個々のファイルのコンテンツをカフカのトピックから別のファイルに書き込む方法を知りたいと思います。

1熱

1答えて

カフカでは、1つのカフカトピックを作成し、複数のプロデューサに書き込むことはできますか？

私は以下のユースケースを持っています：カフカトピックにプッシュされるログファイル（トピック1と言う）。そこから読んでjson形式に変換し、別のトピック（トピック2）に書き戻す消費者がいます。 jsonのデータを期待している別の消費者は、トピック2から読み込み、別の変更を行い、別のトピック（トピック3）に書き戻します。質問は3つのトピックを作成するのではなく、1つのトピックを作成して複数のプロ