apache-kafka

0熱

1答えて

カフカメッセージを受信する際にマルチスレッドを実装すると、多くのメッセージを処理できますか？例えば、私はいくつかの高遅延メッセージ処理を行いたいと思います。メッセージ処理を処理するためにマルチスレッドを実装する必要があるかどうかは疑問です。誰でも知っていますか？

0熱

1答えて

についてKafkaプロデューサエラーハンドラstagey

私はKafkaプロデューサAsyncまたはSync APIを使用する必要がありますが、私はASync APIを使用することを躊躇していますが、例外がある場合はそれをキャッチするのは難しいです。私は失敗したメッセージを覚えてデータベースに保存するコールバック関数を書いた。私がSync APIを使用した場合、いくつかの特定の例外をキャッチし、適切なエラーハンドラロジックを使用するためにいくつかの例外

0熱

1答えて

ストリームDSLを使用したKafkaストリームのストリーム/テーブルタイムスタンプ抽出器ごとの指定

私はKafkaストリームを使用して2つの異なるトピックに参加したいと思います。 2つのトピックには異なるフォーマットのデータがあるので、異なるタイムスタンプ抽出プログラムを使用したいと思います。私は、この機能（KAFKA-4144）のための結合されたpullrequestがあったが、プロセッサAPIのために私はonly find itを見た。この機能はStream API用に存在しますか？

3熱

2答えて

1つのカフカクラスタから別のカフカクラスタへのメッセージのストリーミング

現在、あるカフカクラスタ上のトピックから別のカフカクラスタへのメッセージを簡単にストリーミングしようとしています（リモート→ローカルクラスタ）。 Kafka-Streamsをすぐに使用して、ローカルクラスタ上の実際のメッセージを複製する必要はなく、Kafka-Streams処理の「結果」をKafka-Topicsにのみ取得することです。 WordCountのデモは、私のものよりも別のPCの1つのカ

0熱

2答えて

カフカJSONにJSON配列の変換のためのストリームは、以下の...私はJSONオブジェクトにJSON配列を変換するための通常のJavaのコードを持っていると私はカフカに、この通常のJavaストリームを変換する必要があり

オブジェクト私 import java.io.*; import java.util.*; import java.lang.*; import org.json.simple.JSONArray; import org.json.simple.JSONObject; import org.json.simple.parser.JSONParser; import org.json.s

1熱

1答えて

カスタム変換にKafkaストリームを使用する

私はApache Kafkaを使用してETLデータパイプラインを実装しています。私はKafka Connectを抽出と読み込みに使用しました。 Connectはソースデータを読み込み、カフェのトピックの実際のデータをJSONの形式で使用します。変換フェーズで私はカフカのトピックからJSONデータを読み込み、必要なカスタムビジネスロジックに基づいてSQLクエリーに変換し、カフカのトピックを出力する

0熱

1答えて

JoinWindows期間がストリームの1つのオブジェクトに格納されている2つのKafka KStreamを結合することは可能ですか？</li> </ol> <p>は、ユーザのDSL APIのいずれかまたはProcess APIへのそれは可能です（開始時間と終了時間）（タイムスタンプ付き）</li> <li>番号を</p> <ol> <li>TimeWindow：

レッツは、私は2つのストリームを持っていると言いますTimeWindowで指定された時間範囲内にある数値の合計を含むTimeWindowオブジェクトが出力に含まれるようにストリームを結合しますか？具体的には、持続時間ストアのどこにXXXを設定しますか？win.getDuration（）ここで、が勝利はValueJoinerで参照されるものです。 timeWindow.join( num

0熱

1答えて

カフカトポロジの消費者オフセットを変更するにはどうすればよいですか？

現在、私はKafka Streamsを使ってメッセージを処理するプロジェクトに取り組んでいます。私たちのメッセージは、2つの識別子から成ります.1つはuserの識別子で、もう1つはユーザが属するメッセージリストの識別子です。アプリケーションの話は、クライアントが自分のアプリケーションを介してユーザーの一覧にプッシュメッセージを送信したいということです。したがって、クライアントはプッシュメッセージ