kafka-producer-api

0熱

4答えて

現在、私は異なるメッセージングシステムを評価中です。私は自分自身に答えることができなかったApache Kafkaに関する質問があります。カフカのプロデューサーはトピックやパーティションを（既存のトピックでも）動的に作成できますか？「はい」の場合、それに付随する不利な点はありますか？アドバンス

0熱

2答えて

ローカルマシンからEC2マシンで実行中のKafkaを接続する

私はKafkaを初めて使用していて、フォーラムで別の投稿を検索しましたが、解決策が見つかりませんでした。私はkafkaをEC2インスタンスにインストールし、私のubuntuローカルマシンから同じものを接続しようとしています。私の目的は、ローカルマシン上でpython kafkaクライアント（プロデューサとコンシューマの両方）を実行し、EC2 kafkaインスタンス経由でデータを送受信することです。

0熱

1答えて

スパークストリーミングを使用してカフカのトピックにメッセージを書き込むときは、ただ1つのパーティションに書き込むだけです。

カフカのすべてのパーティションにスパーク書き込みメッセージを作成して、直接ストリームを使用してストリーミングのパフォーマンスを向上させる方法。ここは私のコードです： - object kafka { def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("FlightawareSparkA

0熱

1答えて

カフカプロデューサーはレプリカの存在下でクォータレートでデータを供給できますか？

私はクライアントIDが "p1"で、クォータが50MBpsのクライアントに属するカフカプロデューサーを持っています。 "bin/kafka-producer-perf-test.sh"を使用して私のプロデューサのパフォーマンスをテストしました。レプリカなしでパーティションに書き込むとき、50 MBpsに近いスループットを得ることができました。 3つのレプリカを持つパーティションで同じ実験を試みまし

0熱

2答えて

kafkaトピック/パーティションへの送信/処理を並列化する方法は？

私は特定のディレクトリ（Spooldir）からデータを読み込み、Kafka Sinkに送信する1つのflumeエージェント（1つのソース、1つのチャネル、1つのシンク）を持っています。私の観察に基づいて、特定のパーティションに書き込むだけです。 kafkaトピック/パーティションへの並列送信/処理を可能にする設定は何ですか？

0熱

1答えて

カフカは

イムカフカと協力最初の数秒でメッセージを生成するために遅く、私はそのようなプロデューサー行わ：あなたはそれが非常に簡単である見ることができるよう synchronized (obj) { while (true){ long start = Instant.now().toEpochMilli(); for (int i=0; i< NUM_MSG_SE

0熱

1答えて

Kafka10 heartbeat.interval.msプロパティ

プロパティheartbeat.interval.msおよびpoll（）メソッドと混同しています。 poll（）メソッドを呼び出すと、poll（）メソッドがハートビートを送信します。 heartbeat.interval.msは1秒に設定されていますが、poll（）メソッドは処理を完了するのに2秒かかります。バックグラウンドスレッドから2秒後または1秒ごとにハートビートを送信しますか？

0熱

1答えて

Kafkaプロデューサ経由でファイルから読み取ることができません

kafka producer.ZookeeperとBrokerサーバを使用してファイルを読み取ろうとしています。 Kafka Producer kafka-console-producer --topic incoming --broker localhost:9092 Kafka Consumer kafka-console-consumer --topic incoming --zoo

0熱

1答えて

kafkaプロデューサを使用してファイルから新しい変更を読み取る方法

現在、私はWindowsマシンを使用しており、Kafkaプロデューサとコンシューマを使用してコマンドプロンプトでファイル全体を読み取ることができます。最近のファイルの変更だけを取得し、Apache flinkの入力としてそれを使用する必要があります。私はthis linkを使ってみましたが、kafkaクライアントjarの不一致の問題のために、私はそれを使用できませんでした。私の現在のアプローチで