apache-kafka

0熱

1答えて

スパークダイレクトストリーミングを使用するとき、私はズキーパーカーに私のオフセットを保存しようとしています。私はそれがAPIで利用できません見るように、我々はJavaPairInputDstreamを取得するために使用できる方法の回避策があります私はJavaInputDstream APIは、特定のオフセットから起動するオプションを持っている見るが、私はJavaPairInputDstreamのた

1熱

2答えて

リーダーが利用できませんコンソールでのKafka ssl + acl設定のプロデューサ

sfl + aclsでkafka 0.11.0.1を使用しようとしています。私の設定は以下の通りです。 server.properties： broker.id=0 listeners=PLAINTEXT://127.0.0.1:9092,SSL://127.0.0.1:9093 advertised.listeners=SSL://127.0.0.1:9093 num.network.th

0熱

1答えて

設定ウィンドウ[ホッピング、タンブリングなど]カフカストリームの並列性

kafkaストリームでホッピングウィンドウコードを書いています。minMaxCalculator()は、ストリーム内の最小値と最大値を一度キーでグループ化しています。 KTable<Windowed<String>, aggrTest> WinMinMax = Records.groupByKey().aggregate(new aggrTestInitilizer(), new mi

0熱

2答えて

Apache KafkaトピックとストリームデータをHiveテーブルに登録する方法

Apache KafkaトピックとストリームトピックデータをHiveテーブルに登録するにはどうすればいいですか？カフカのトピックはリアルタイムで更新されます。

0熱

1答えて

Kafka Connectの起動に失敗しました

新しいLinux CentOS 7にkafka confluent oss 4.0をインストールしましたが、kafka接続の開始に失敗しました。再現手順： - Install Oracle JDK 8 - Copy confluent-4.0.0 folder on opt/confluent-4.0.0 - Run /opt/confluent-4.0.0/confluent start

0熱

1答えて

socket.errorのためにKafka Producerを実行できません：[Errno 48]アドレスはすでに使用中です

私はローカルドッカーマシンを持っており、私はPythonで書かれたKafkaプロデューサーを実行しようとしています。しかし、それはsocket.errorを与えます：[Errno 48]アドレスはすでに使用中であり、停止しています。助けてくれてありがとう！エラーメッセージ：ドッキングウィンドウ・マシン上ドッカーマシン画像コンテナコマンドプロデューサーを実行します $ python pro

0熱

1答えて

Javaコードを使用してDBからKafka Producerにテーブルデータの差分を読み取るにはどうすればよいですか？

JavaコードでKafkaプロデューサとしてDBデータを使用しようとしています。ソースデータは連続的に増加します（たとえば、1秒あたり20行）。新しいレコードがDBテーブルに挿入されるたびに、データ全体がDBから読み込まれ、カフカのトピックに追加されます。私は、新しく追加された行のみをトピックに送信したい（つまり、テーブルがすでに10行、さらに4行が追加されている場合は、その4行だけをトピックに送

1熱

1答えて

Kafkaメッセージングが機能しない

サンプルドキュメントのとおりにメッセージを設定しようとしていました。すべての私のサービスとクラスは、コンポーネントまたはサービスの注釈が飾られ、まだ私はまだ次の例外を取得しています： org.springframework.messaging.MessageDeliveryException：Dispatcherはをチャンネル「unknown.channel.name」のための加入者を持っていま

1熱

1答えて

トピックがロードされていないため、Kafkaが起動に失敗する

WindowsマシンにKafkaサーバーと飼育係を設定しました。here私は首尾よくトピックをセットアップすることができました - MTETestは以下のログで、このトピックへのメッセージを生成し、消費します。 adminitratorコマンドプロンプトで、インストールに付属のバッチファイルを使用してカフカと飼育係を停止して起動しようと、私はカフカサーバは以下のメッセージを表示して開始すること

-1熱

1答えて

カフカのバージョン0.11ではどのように監視していますか？

Githubに問題を登録しましたが、私が欲しかった答えが得られなかったので、ここで尋ねました。（https://github.com/Morningstar/kafka-offset-monitor/issues/12）カフカをバージョン0.11で実行している場合は、どのように監視しているのでしょうか。私は、システムの一部を監視したいのですが、「プロデューサー」のような一般的な部品は、「消費