apache-kafka

1熱

1答えて

spring-cloud-starter-stream-kafkaはspring.boot.cloud.stream.bindings.output.destinationに提供されたトピックを作成しません

私はspring-cloud-starter-stream-kafkaとspring-cloud-stream jarを使用しています春のブートアプリケーションでカフカのために。 jarのバージョンは1.1.1.RELEASEであり、Testという名前のproducerを作成しています。次の例は、application.ymlファイルです。 spring.boot.cloud.stream.bin

0熱

1答えて

KafkaConsumerがオフセットから読み取らない0

私はカフカの例をテストしたいと思います。私はプロデューサーカフカ0.10.0.1を使用しています： object ProducerApp extends App { val topic = "topicTest" val props = new Properties() props.put("bootstrap.servers", "localhost:9092") props.put

0熱

1答えて

Kafka保持ポリシーオーバーライド

server.propertiesの保持ポリシーが168時間（7日間）に設定されているときにトピックを作成しましたその後、トピックを作成してからサーバーを継承してから保持ポリシーを10日間に変更しました。トピックプロパティをトピックプロパティとして7日間のプロパティをトピック作成の一部として設定しました。トピックをカスタマイズするためにトピックを変更しませんでした。

2熱

1答えて

KSQLですべてのエントリを数える

KSQLを使用して、特定のカラムのエントリをGROUP BYでカウントするのではなく、アプリケーションをストリームするすべてのエントリに対して集計を取得できますか？私はこのような何かを探しています：KSQLで | Count all | Count id1 | count id2 | | ---245----|----150----|----95-----| 以上のこのような： [some

0熱

2答えて

server.propertiesのトピックごとのKafkaログ保持時間

私はKafkaトピックの1つの保持期間を短縮したいと思います。トピックの残りの部分ではデフォルトの保持時間（7日間）を使用したいと考えています。ターミナル：bin/kafka-topics.sh --zookeeper XXX --alter --topic XXXX --config retention.ms=86400000で設定できることがわかりました。これは、server.proper

1熱

1答えて

は、LDAPをサポートするために、カスタムのLoginModuleとカフカを提供することができますか？平文のユーザー名/パスワード、KerberosまたはSSL：

カフカは、いくつかの認証メカニズムを使用するように設定することができます。最初の2つはJAAS設定ファイルが必要なSASLを使用します。プレーンテキスト認証方法については（documentationから取られた）のように、設定が見えます： KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule requ

0熱

1答えて

Docker

にデプロイすると、GolangパニックにApache Kafkaのコンシューマーが実装されました。ここでは、kafkaサーバーからメッセージを読み込んでHTTP経由で送信する単純なマイクロサービスを実装しようとしています。それは私が、端末からそれを実行すると正常に動作しますが、 panic: runtime error: invalid memory address or nil pointer

3熱

2答えて

kafkaブローカーを作成するときのctrl-cとkill -9の違い

私はkafka公式チュートリアルを通過し、multibroker部分で奇妙な問題を発見しました。私は簡単にやっているリストが表示されます：実行ローカル飼育係をポート2181 実行ポート9092、9093、9094 の3つのカフカのブローカーを1つのパーティションでトピックを作成し、3にレプリカ：私の-複製し、話題は私が障害をテストしたいその後、このトピックにいくつかのメッセージを生成しまし

0熱

1答えて

カフカパーティションラグを増やす

私はキューとしてKafka 1.0を使用するアプリケーションを持っています。カフカのトピックには80のパーティションと80のコンシューマが走っています。（Kafka-pythonの消費者）。コマンドを実行することにより：私はパーティションの1つがオフセットで立ち往生し、新しいレコードが追加されているようタイムラグが連続的に増加していることを見 ./bin/kafka-consumer-grou