apache-kafka-streams

-3熱

1答えて

DC/OS、ElasticSearch、Kafka Connect、Kafka StreamsのCloudFormationテンプレートはありますか？

SMACK stackの例はたくさんありますが、私のインフラストラクチャではElasticSearchとConfluent Kafka ConnectとKafka Streamsを使いたいと思います。 great tutorial on deploying a CloudFormation-based SMACK stack environmentと別のものがcreating an IoT pip

0熱

1答えて

Kafka Streamsが利用できるようになったので、SMACKスタックにSparkとAkkaが必要ですか？

私の歯をIoTデータ取り込みアーキテクチャでカフカストリームにシンクし、多くのSMACK stackの例を参照してください。しかし、今ではKafka Streamsで、SparkとAkkaが本当に必要です（スパークはないかもしれません）？

1熱

2答えて

カフカストリーム - すべてのインスタンスのローカルストア我々は次のような問題を持っている同じトピックに

を指している：当社は、特定のカフカのトピックを聞くと、それは「歴史」だ構築したい - そう指定されたキー抽出のためのいくつかのデータ、それを追加そのキーの既存のリストに追加する（または存在しない場合は新しいリストを作成する）。単一のパーティションしか持たず、非常にコンパクトな別のトピックに追加する。別のアプリでは、そのトピックをリッスンして履歴リストを更新できます。私はそれがKafkaストリー

2熱

1答えて

kafka 0.10.1に使用するコンシューマAPIはどれですか？

私はカフカに新しいですし、私はカフカのリーダーversion 0.10.0と飼育係version 3.4.6 .Thereは私が出会ったカフカの消費者向けAPIの2種類あります： 1. Kafka Polling 2. Kafka Streams 私は、これらの間に有意な差を見つけることができないのです二。カフカ・ポーリングとカフカストリーミングの消費者の違いは何ですか？両方に適したユースケ

1熱

1答えて

カフカストリームのストリームにクールダウン/レート制限を追加するにはどうすればよいですか？

私はデータ処理をストリーミングするのが初めてで、とても基本的なユースケースでなければならないと感じています。私は(User, Alert)タプルのストリームを持っているとしましょう。私が望むのは、ユーザーあたりのストリームのレートを制限することです。私。私は一度だけユーザーにアラートを出力するストリームが必要です。次の例では、60分と言えば、ユーザーの着信アラートは飲み込むだけです。 60分後に

0熱

2答えて

1つのカフカトピックのメッセージを修正し、javaを使用して別のカフカトピックに送信する方法は？

私は1つのトピックAにMSGを生成するプロデューサを作成しました。私はそのMSGの変更を行いたい、それを別のトピックに送信したいです。B、私はKafkaストリームでこれを行うようにしていますが、それは正しい方法であるかどうか。そのためにカフカのストリームが必要な場合は、書き込むコードを教えてください。

2熱

1答えて

カフカストリームで先物を使うには

2つのトピックを消費して参加するカフカクラスターがあります。参加の結果、私はデータベースで何らかの操作を行います。 DBへのすべての操作は非同期なので、私はFuture（scala.concurrent.Futureですが、とにかくjava.util.concurrent.CompletableFutureと同じです）を返します。だから、その結果として、私はこのようなコードを持って： val fi

2熱

1答えて

複数のトピックへのストリーミングメッセージ

私は1つのマスタートピックと複数の述語を持ち、それぞれに出力トピックが関連付けられています。私はすべてのトピックに述語が真である解決する各レコードを送信したい。私はLuwakを使ってレコードがどの述語を満たしているかをテストしています（このライブラリを使うには、述語のリストを持つ文書を評価し、どれが一致したかを伝えます。私はこのためにKafka Streamsを使用しようとしていますが、KStr

4熱

1答えて

UncaughtExceptionHandlerを使用してストリームを再起動またはシャットダウンする正しい方法

私は、リアルタイムメッセージ変換のために以下のドライバコードを持つストリームアプリケーションを用意しています。 String topicName = ... KStreamBuilder builder = new KStreamBuilder(); KStream<String, String> source = builder.stream(topicName); source.tra