kafka-consumer-api

0熱

1答えて

特定のカフカパーティションにpythonコンシューマスクリプトを添付する方法。コンシューマスクリプトのインスタンスを2つ実行すると（以下に示す）、それぞれがランダムに1つのパーティションを取得し、その特定のパーティションのすべてのメッセージを消費/印刷します。しかし、ディスク上のローカルファイルという名前のパーティションにこれらのメッセージを出力する必要があるため、事前に宣言されたパーティショ

0熱

1答えて

kafka.netクライアントを使用して2人のカフカ消費者にデータの負荷を分配する

kafka .netクライアントを使用して、2人のカフカ消費者のデータの負荷をどのように分けることができますか。

0熱

1答えて

DynamoDBへのKafkaエントリー

カフカトピックに入ってくるすべてのレコードをDynamoDBに挿入します。同じことができるオープンソースのプラグインがありますか？それとも、DynamoDB自体の中で私がそれをやり遂げることができる他の良い方法がありますか？ Plsのは、提案DynamoDBのでカフカのメッセージを格納ロークシュナラヤン

0熱

2答えて

kafkaコンシューマ（新しいコンシューマAPI）を永久に実行しています

Apache Kafkaにキューイングシステムを構築しました。アプリケーションは特定のKafka topicへのメッセージを生成し、消費者側ではそのトピックに生成されたすべてのレコードを消費する必要があります。新しいJava Consumer APIを使用してコンシューマを作成しました。コードはここ Properties props = new Properties(); p

0熱

1答えて

カフカの消費者状態を確認する方法

私はカフカの高レベル消費者です。 public class KafkaHighLevelConsumer implements Runnable { private final KafkaConsumer<String, String> consumer; private final List<String> topics; private final int id;

3熱

1答えて

MySQLからカフカプロデューサーにデータを送る方法は？

私はビッグデータがさらに新鮮です。私はMySQLのデータベースを持っており、これをストリーミングプロセスのためにApache Kafkaにインポートする方法がわかりません。そして、消費者からデータを入手してください。私に助言してください。

3熱

2答えて

カフカの消費者からスパークストリーミング

私はカフカと仕事をする必要があるかもしれません。私はそれを絶対に新しくしています。私は、カフカのトピックでログを取得するカフカのプロデューサーがいることを理解しています。私は消費者からKafkaトピックから読むことに取り組む必要があります。コンシューマーAPIを設定してから、SparkStreaming Context（PySpark）を使用してストリーミングするか、KafkaUtilsモジュー

0熱

1答えて

カフカ0.8.2カスタムAPIライブラリ？

私はKafkaキュー0.8.2を使用しており、標準のポーリングとプッシュコールを実装しています。今、Simple Consumerの実装が必要なpollByIndexメソッドに行きたいと思っています。はシンプルな消費者を実装する作業の多く:) アップグレード0.9には、私のためにまだConsumerAPIないオプションを使用することができるので、誰かがすでにこのようなメソッドを扱ういくつかのカス

10熱

1答えて

Kafkaの自動コミットとauto.commit.interval.msについての明確化が必要

https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.htmlのドキュメントには、と記載されています。自動コミットを有効にすると、pollの呼び出しは常に前のポーリングによって返された最後のオフセットをコミットします。ポーリングによって返されたすべてのイベントを常に処理してからp