apache-kafka

0熱

1答えて

をStreamsのIはカフカに次のトポロジを定義しているが Operation 1 : input_stream ----> filter ----> window_processing ----> write_to_topic Operation 2 : input_stream ----> write_to_topic ストリームIは、両方の操作が（私はスレッドのためStreamsCon

0熱

3答えて

Apache Kafka + Apache Camelの統合+ POCの問題+ java.util.Hashtable.put（Hashtable.java:459）のjava.lang.NullPointerException

これは私のルートビルダーです。ここで私はtopic.Laterに私のファイルからデータを挿入しようとしています、私は私のメインメソッドを通過し、私はそれを実行しているラクダのコンテキストを使用しています。私はいくつかのコードを試したが、誰も助けなかった。私はApache kafka - CamelのPOCに取り組んでいます。 public class SimpleRouteBuilder exte

0熱

1答えて

Sparkストリーミングチェックポイントの読み込み後のエラー

私は耐障害性を含むSpark Streaming with Kafkaアプリケーションを実装しようとしています。アプリケーションを再起動すると、再起動前に既に読み込まれたメッセージが読み込まれ、計算が間違っています。この問題を解決するのを手伝ってください。ここはJavaで書かれたコードです。 public static JavaStreamingContext createContextFunc

1熱

1答えて

Kafka 1.0.0管理クライアントはEOFExceptionでトピックを作成できません

1.0.0 Kafka管理クライアントを使用して、ブローカー上にトピックをプログラムで作成したいと考えています。私はScalaを使用しています。私はカフカブローカーのトピックを作成するか、次のコードを使用して試した、または単に使用可能なトピックにいずれかのコマンドで import org.apache.kafka.clients.admin.{AdminClient, ListTopicsOpti

1熱

1答えて

kafka nodejs - SASL認証でプロデューサとコンシューマを作成する際の問題

nodejsを使用してSASL認証を使用してKafkaプロデューサとコンシューマを作成しようとしていますが、ほとんどすべてを試したnodejs kafkaパッケージノードrdkafkaが、その対面の上にSASL var Kafka = require('node-rdkafka'); var producer = Kafka.Producer({ 'debug': 'all',

2熱

1答えて

カフカストリームアプリを自動的に展開

私はKafkaとKafka Streaming Applicationsから始めています。私はある話題から消してこのメッセージを処理し、別の話題に送るカフカストリームアプリを書いた。私の知る限りは、私がコード化されたこのカフカストリームアプリケーションを実行するために発見した唯一の方法は、以下のとおりです。IDEから実行するJavaクラス。 *.jarファイルを生成し、プロンプトから実行し

0熱

1答えて

kafka消費者が同じメッセージを受け取らないようにセッションタイムアウトを増やす

私はkafkaからメッセージを消費して生成するJavaアプリケーションを持っています。私は5スレッドのスレッドプールを持って、各スレッドはコンシューマを作成し、私は5つのパーティションを持っているので、ジョブはそれらの間で決定されます。私は、各メッセージ処理に約1時間かかるため、hearthbeatがブローカに送られないので、2つのスレッドが同じメッセージを受け取っているという問題があります。

0熱

1答えて

Kafkaメッセージを他のフォーマットに変換するためのアーキテクチャアプローチの検索

Kafkaをブローカーとして使用して、さまざまなメッセージソースからの通知を受け取り、スラックや電子メールなどの1つ以上のターゲットアプリケーションにルーティングします。このようなアプローチをとることで、KafkaメッセージをJSONやE-Mailなどのさまざまな出力形式に変換してからアプリに送信する必要があります。私はKafkaからメッセージを受け取り、VelocityやFreemarkerの

1熱

1答えて

Flinkストリーミングイベント時間ウィンドウ

私はEventTimeに基づいてウィンドウをテストする簡単な例を実行しています。私は処理時間で出力を生成することができますが、私がEventTimeを使用しているときに出力はありません。私が間違っていることを理解するのを助けてください。 5秒ごとにスライドするサイズ10秒のSlidingWindowを作成しています。ウィンドウの最後に、その時間に受信したメッセージ数が表示されます。 input :