UDPを使ってセンサーデータをApache Kafkaに送信

Question

私のシステムでは、多くのセンサーがデータを生成しています。私は、生成されたデータを、ネットワークプログラミングを妨げることなく、直接カフカに送りたいと思っています。

私が知っているように、Kafka（Confluentバージョン）はこのような状況でHTTPをサポートしていますが、私のセンサーはHttpプロトコルを使ってデータを送信せず、独自のプロトコルを持っています。

は今私の質問は以下のとおりです。

1. カフカは、ネットワークレイアウトデータの抽象化で（理解）を受信しましたか？ データリンク（物理ネットワークレイアウトデータ） 以上のデータをデータリンクレイアウト、ネットワークレイアウトなどのように受け取ることができます。
2. データをKafkaに直接送信する方法はありますか。
3. そうでなければ、 の状況に合わせてKafkaのソースコードをカスタマイズすることはできますか？

一般

、それはUDPプロトコルを使用してカフカへのセンサからのデータを送信することは可能でしょうか？

Answer 1

フォーマットを使用するKafkaProducerを実装するか、形式を適切なテキスト形式に変換して、Kafkaの汎用kafka-console-producer.shにパイプすることができます。

Answer 2

ノードでKafkaにブリッジを使用すると、それらのメッセージをKafkaが理解できるもの（エンベロープのようなもの）に変換できます。

あなたは、この1はカフカのトピックにsyslogメッセージを送信するために使用されるのGithub

https://github.com/agaoglu/udp-kafka-bridge

に、このようなソフトウェアの実装を見つけることができます。