apache-kafka-streams

0熱

1答えて

AdminUtils.createTopic APIはkafka.admin.AdminOperationExceptionをスローします

私はWindows上でConfluent 3.0.1プラットフォームを使用しています。私はすべてのインストールを行い、トポロジを開発するためのインストールガイドと開発者ガイドに従っていました。私はZookeeperを起動し、次にKafkaサーバーを起動し、トポロジを実行しようとしました。しかし、Kafkaサーバー上でエラーを下回っている。トピックを手動で作成してトポロジを実行しても、同じエラーが

2熱

1答えて

kafka new api 0.10はトピックごとにストリームとコンシューマオブジェクトのリストを提供していません

これまでは0.8 APIを使用していました。トピックリストを渡すと、ストリームのマップ（トピックごとに1つのエントリ）が返されます。これにより、別のスレッドを生成し、各トピックのストリームをそのスレッドに割り当てることができます。各トピックにあまりにも多くのデータを持つと、別のスレッドを生成することでマルチタスキングが助長されます。 //0.8 code sample Map<String, L

3熱

1答えて

kafkastreams - 処理能力を追加する

Im既存POCを変換するFlinkアプリケーション/トポロジを使用するKafkaStreams。私の質問は配備です。具体的には、Flinkでは「作業者ノード」をFlinkインストールに追加し、次にデータレートの増加に追いつくためにトポロジに並列化を追加します。データレートが増加するとKStreamsの容量はどのように増加しますか？ KStreamsはこれを自動的に処理しますか？私はより多くのプ

1熱

1答えて

カフカストリームプロセッサコンテキストでの定期NPE

kafka-streams 0.10.0.0を使用して、メッセージを転送するときにStreamTaskでヌルポインタ例外が定期的に発生しています。呼び出しの10％から50％の間で変化します。 NPEは、この方法で行われます。 public <K, V> void forward(K key, V value) { ProcessorNode thisNode = currNode;

0熱

1答えて

リアルタイムルール編集とKafkaStreams

"ビジネス"ユーザが入力ストリームから取り込まれたデータに関するルールを作成し編集できるようにする必要があります。ルールはビジネスフレンドリーでなければならず、開発サイクルはありません。ここで私は考えています何の例です：気象ステーションと接続された車両のストリーミングデータとして "if weatherStation.id == 100 and weatherStation.temp < 33 a

8熱

2答えて

カフカストリーミング同時実行性？

1つのトピックからレコードを読み取り、処理して、別のトピックにレコードを出力する基本的なKafkaストリーミングコードがあります。カフカストリーミングは並行処理をどのように処理しますか？すべてが単一のスレッドで実行されていますか？私はこれがドキュメントに記載されているとは思わない。シングルスレッドの場合、大量のデータを処理するマルチスレッド処理のオプションが必要です。マルチスレッドの場合、S

3熱

1答えて

Kafkaストリームの値としてHashMapを使用して状態ストアを作成するにはどうすればよいですか？

値としてStringキーHashMapを使用して状態ストアを作成する必要があります。私は以下の2つの方法を試しました。 // First method StateStoreSupplier avgStoreNew = Stores.create("AvgsNew") .withKeys(Serdes.String()) .withValues(HashMap.clas

1熱

1答えて

Kafka KStreamアプリケーション - 一時ファイルのクリーンアップ

私のKStreamベースのアプリケーションが多くのgBファイル（.sst、Log.old。<スタンプなど）を重ねているようです。これは単独で解決されるのでしょうか、それとも私が目を離す必要があるのでしょうか？いくつかのパラムはそれらを淘汰するために設定する必要がありますか？

3熱

1答えて

Kafka KStream - 消費者の遅れを測定する

私のKStreamのアプリケーションは、伝統的なKafka消費者ルートに従っていないので、どのように消費者の遅れを追跡する必要がありますか？通常はConsumerOffsetChecker（またはそのilkの何か）を使用しますが、コンシューマグループ名が必要です。代わりに何を使用しますか？（私は新しい消費者を起動するとき/場合ので、私は伝えることができ、これを追跡する）

1熱

1答えて

Bluemix Kafkaストリーム

IBM Message Busの最新バージョンでは、カフカストリーム（http://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/）がサポートされていますか。どのようにこれを行うにはどのサンプル/サンプル？ 2 - はい、これは私が（BETAサービスをコネクタサービスがbluemixに存