apache-kafka

0熱

1答えて

org.apache.kafka.common.KafkaException：io.confluent.kafka.serializers.KafkaAvroSerializer

は、次のコード import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache

0熱

1答えて

dcos-vagrantに「リモート」ドッカーベースのサービスを導入

16GBのRAMを搭載した物理サーバにdcos-vagrantを導入しました。私はカフカのコンテナを展開したいと思いますが、私は、私は主に食い尽くされているローカルRAMによって制約されないのですコンテナが（CoreOSサーバ）この方法で別のマシン上で実行されているしたいと思いますブートストラップによって。私はそれを行う方法に関する情報を見つけられませんでした。正しい方向へのポインタはどれも

2熱

2答えて

パーティションとは別にkstreamをさらに並列化する方法はありますか？

私は、カフカとの並列化の基本的なアプローチがパーティション化を利用することを理解しています。しかし、私は、6つのパーティションしかない既存のインフラストラクチャを活用しなければならないという点で特別な状況があり、毎秒数百万と数百万のレコードを処理する必要があります。各kstreamコンシューマに読み込みを行い、同時に単一のパーティションから負荷を均等に分配する方法で、さらに最適化する方法はありま

0熱

1答えて

Apache KafkaストリーミングKTableの変更ログ

私は、Kafkaトピックから消費されたデータを集約するためにApache Kafkaストリーミングを使用しています。集約は、それ自体が消費され、結果がDBに格納された別のトピックにシリアル化されます。私が推測するようなかなり古典的な使用例。集計コールの結果は、Kafkaの変更履歴「トピック」によってバックアップされたKTableを作成しています。これは実際にはそれよりも複雑ですが、（平均を計算

0熱

1答えて

春のカフカ消費者が1つのパーティションからメッセージを受信しなくなったときを検出するにはどうすればよいですか？

私は、3つのパーティションからのメッセージを取得する3つのスプリングカフカコンシューマ（同じグループ）を持っています。私は、これらの消費者のうちの1人が1つのパーティションから読み込みを停止すると検出したい（他の2人の消費者は他の2つのパーティションから読み込みを続ける）。これはこれまでに2回起こっており、検出された場合、再バランスを引き起こすすべての消費者を再起動して修正するのは簡単です。この問

-1熱

1答えて

最後の車の座標の追跡

私は車の位置に関するデータを保存しているカフカのトピックを持っています。私はストリームを書く必要があり、それは私に各車の最後の4座標だけを表示する。どのように私はカフカストリームでこれを行うことができますか？

0熱

1答えて

カフカブローカーに直接生産しているWebフロントエンドは実行可能なアイデアですか？

私はちょうどカフカを学び始めました。ソーシャルメディアWebアプリケーションを構築しようとしています。私は、バックエンド（バックエンドからデータベースやその他のサービスへの通信）にKafkaを使用する方法についてかなり明確です。しかし、フロントエンドとバックエンドとの通信方法はわかりません。私はアーキテクチャを次のように考えていた：フロントエンド - >カフカ - >バックエンド。フロントエン

0熱

2答えて

飼い葉桶なしでjava apiを使ってカフカトピックを作成する

kafka 0.10.1.xのzookeeper依存関係なしでkafkaトピックを作成する方法は？トピックが作成されたスレッドを見ましたが、zookeeper、zkクライアントなどを使用しました。私はJavaのみを使用したいので、scalaの依存関係はすでにkafka 0.10がzookeeperを使用していないためです。

0熱

1答えて

storm-kafka統合エラー

私は以下のエラーに遭遇しています。キュレーターのjarファイルはmapr libというサーバーclasspathを参照していて、キュレーターjarファイルを含んでいます。私は最終的な実行可能なjarファイルにキュレーターjarをパッケージ化していません。 java.lang.NoSuchMethodError: org.apache.curator.utils.ZKPaths.mkdirs(Lo

2熱

1答えて

ハイパージーガーファブリックの最初のネットワークがカフカとTLSを併用していない

公式ドキュメントから最初のネットワークサンプルBuilding Your First Networkを実行しようとしています。このサンプルをkafka発注者タイプで実行する必要があります。この場合、私はconfigtx.yamlファイル（カフカにOrdererTypeを変更し、ブローカーを追加しました） ... # Orderer Type: The orderer implementati