apache-kafka-streams

0熱

1答えて

私たちはシステムでストリーム処理にkafkaを使用しています。入力データ\メッセージの構造は非常に複雑です。どのように入力メッセージの構造を定義するか。これは入力データ\メッセージのための最も適切な構造と直列化メカニズムです。

0熱

1答えて

kafkaプラットフォームが次の仕事に適しているかどうかを知りたいと思います。私は複数のテーブルを持つ完全なデータベースを取り込みしようとしています。一度Kafkaによって摂取されると、条件に基づいてテーブルの行をフィルタリングしたいと思います。私は、カフカストリームを使用するのは簡単な仕事だと思いますが、フィルタによって拒否されたメッセージはどうなりますか？たとえば、日付などに基づいて条件

1熱

1答えて

カフカのストリームアプリからの書き込みが別々になっています

私はカフカとカフカストリームにはかなり新しいので、私に同行してください。私はここで正しい道にいるかどうか知りたいです。私は現時点でカフカのトピックに書いており、休憩サービスを通じてデータにアクセスしようとしています。生データ型は、アクセスされる前に変換される必要があります。これまでのところ、生データをトピックに書き込むプロデューサがあります。 1.）私は希望の形状のデータを変換するストリームア

0熱

3答えて

ストリーム処理後のカフカトピックからのメッセージの削除

カフカストリーム処理は、トランザクション処理のために当社のシステムで実装されています。解決策は以下のように実装されます。カフカプロデューサはイベントをカフカトピックにパブリッシュし、ストリームプロセッサは入力イベントを処理して集約操作を実行します。ストリーム処理の後、イベントは別のトピックに公開されます。最初のトピックでコンシューマーが実装されていないため、最初のトピックから処理されたメッセージ

0熱

1答えて

Kafkaストリーム：トピックに正常にコミットした場合にのみ、kvストアからエントリを削除する方法はありますか？

カフカストリームでは、私のkvストアは出力トピックにレコードを送るシンクにリンクされています。 - 何らかの理由でシンクがレコードをトピックにコミットできない場合、どのような例外が発生しますか？

1熱

1答えて

カフカコンシューマの作成に失敗しました

このトピックについてはいくつかの回答がありますが、何も機能していませんでした。次のストリームプロセッサを実行しようとしています。 object simplestream extends App { val builder: KStreamBuilder = new KStreamBuilder val streamingConfig = { //ToDo - Move t

1熱

2答えて

正確に一度のモードでプロセッサAPIを実装する方法

私はKafka Streamを学習していて、プロセッサAPIを使用してユースケースを実装しています。以下のコードは、commitを呼び出す前にメッセージを下流に転送し、中止するProcessメソッドを示しています。これにより、ストリームが再処理され、シンク上にメッセージが複製されます。 public void process(String key, String value) { co

0熱

1答えて

これはkafkastreamをブロックする正しい方法ですか？

私の仕事は、リモートのデータベースからデータを取得し、それらをkafkaストリームに組み込むことです（濃縮）。私が今やりたいことは、定期的にリモートDBをローカルメモリにポーリングすることです。このポーリング操作が行われると、カフカストリームを一時的に停止する必要があると思います。 @Autowired private KafkaStreams streams; @Scheduled(cro

0熱

2答えて

カフカストリームの脂肪瓶を実行しているときの例外

カフカストリームを学習するための単語数を試しています。以下は使用されるコードです。私はプロジェクトから太った瓶を作り、トピックword-count-input1へのメッセージを作り始め、word-count-output1からの出力をフェッチしています。しかし、私は脂肪のjarファイルを実行すると例外見ています - org.apache.kafka.streams.errors.StreamsEx

1熱

1答えて

カフカストリーム - <a href="http://docs.confluent.io/current/streams/developer-guide.html" rel="nofollow noreferrer">Kafka Streams Developer Guide</a>で複数のクラスタに接続する

それは言う：一つカフカクラスタのみ：現在カフカストリームのアプリケーションは、この設定値で指定された単一カフカのクラスタにのみ話すことができます。将来、Kafka Streamsは、カフカクラスターへの接続をサポートし、入力ストリームの読み取りや出力の書き込みを行うことができます。ストリーム。これは私の全体のアプリケーションは、単一のカフカのクラスタに接続することができますかKafkaS