apache-kafka

0熱

1答えて

spark.writeStreamの結果をハイブに保存するにはどうすればよいですか？

spark.readStreamを使用して、カフカからデータを読み込み、結果のデータフレームで爆発を実行しています。 私はHiveテーブルに爆発の結果を保存しようとしていますが、私はその解決策を見つけることができません。 val query = tradelines.writeStream.outputMode("append") .format("memory")

hadoop apache-spark apache-kafka structured-streaming spark-hive 2017-12-19

---

1熱

1答えて

カフカConsumerGroupは存在しません

初めてカフカを設定すると、カフカ0.11。かなりのデフォルト設定を使用しています。プロデュースされたABCのトピックにいくつかのメッセージが生成されました。 2消費者は、同じトピックからのメッセージを消費するようにコード化されています。各消費者は異なるグループidのGROUP.1とGROUP.2に属します。 すべてのメッセージとオフセットの詳細については、トピックを参照してください。 kafka-

apache-kafka kafka-consumer-api 2017-12-19

---

0熱

1答えて

Kafka gzipの圧縮メッセージをトピックからスパークストリーミングへ読む方法

Gzip圧縮を使用するにはプロデューサー側で変更する必要があることがわかりますが、メッセージを読む際に圧縮解除する方法がわかりません。 しばらくお待ちください。 圧縮されていないメッセージに対してMy End to End Streamingが動作します。 ありがとうございます

apache-spark apache-kafka spark-streaming kafka-consumer-api 2017-12-19

---

0熱

1答えて

ブローカーベースのオフセットを使用して消費者のラグをプログラム的に取得

私はインターネットを通して文字通り一貫してコーディングしています。 私が欲しいのは、特定のgroupIDに対して、コンシューマグループのラグメトリック（または、2つのオフセットが派生したもの、現在のものと最後のもの）です。 私はkafka 0.9+を使用しています（飼い主ではオフセットがないので）、必要に応じて新しいものを使用することもできます。 スクリプトを使用しないで、プログラムでを取得する方

apache-kafka kafka-consumer-api metrics 2017-12-19

---

0熱

1答えて

Kafka HAの消費者設定

私の環境では1つのインスタンスが稼働していてもうまく動作していますが、複数のインスタンスを実行すると、3つのインスタンス（高可用性）アプリケーションはトピックからメッセージを消費することができます。 私はそのトピックに3つのパーティションと1つのレプリケーションファクタを持っています。 私は ./kafka-topics.sh --describe --zookeeper localhost:21

apache-kafka kafka-consumer-api 2017-12-20

---

0熱

1答えて

log.debug（グループ{}のコーディネーターディスカバリーに失敗しました。メタデータをリフレッシュしました。 "、groupId）kafka 0.11.0.xで

私はKafka（バージョン0.11.0.2）サーバーAPIを使用してローカルホストでkafkaブローカーを開始しています。問題なく実行されるので、プロデューサーもメッセージの成功を送ることができます。 しかし、コンシューマはメッセージを受け取ることができず、consoleには何もエラーログはありません。コードをデバッグし、"refreshing metadata"のためにループします。私はその[O

apache-kafka kafka-consumer-api 2017-12-20

---

0熱

1答えて

Springのサンプルコードが必要です。aws S3がinBoundで、Apache kafkaがアウトバウンドである必要があります。

aws s3のインバウンドとしてのSpring Integrationと、アウトバウンドとしてのApache kafkaの例が必要です。 私はAWS S3からデータを読みたいとここでそれらを解析し、Apacheのカフカ話題に

amazon-s3 apache-kafka spring-integration spring-cloud-stream 2017-12-20

---

0熱

1答えて

カフカはカフカの設定を使用して

をconfigのリスナーに反応しない： # The address the socket server listens on. It will get the value returned from # java.net.InetAddress.getCanonicalHostName() if not configured. # FORMAT: # listeners = listene

apache-kafka 2017-12-20

---

0熱

2答えて

log4jを使用してログのspring kafka設定を印刷する方法

log4jを使用して、すべてのspring-kafka設定をログに記録する方法はありますか？私は、アプリケーションlog4j2.ymlで以下のロガー設定を試してみましたが、すべての情報とデバッグログが表示されますが、設定は表示されませんでした。 - 名前：org.springframework.kafka 加法：偽 レベル：情報/デバッグ AppenderRef： - REF：助けを事前にSOME

logging properties apache-kafka spring-kafka 2017-12-20

---

1熱

1答えて

カフカ消費者を使ってカフカの話題を読むことができませんか？

私はKafkaを初めて使っているので、ファイルからレコードを読み取り、そのメッセージをプロデューサーを通じてKafkaトピックに送信できますが、消費者から同じトピックを使用することはできません。 注：任意のテキストファイルからデータを読み取ることができると私はkafka_2.11-0.9.0.0バージョンここ を使用していたが、私のコードです：今ここに package implementation

apache-kafka 2017-12-21

---