何を使用すればいいですか：Kafka StreamまたはKafka consumer APIまたはKafka connect

KafkaストリームまたはKafkaコンシューマAPIまたはKafkaが接続するには、私にとって何が最善かを知りたいですか？何を使用すればいいですか：Kafka StreamまたはKafka consumer APIまたはKafka connect

トピックからデータを読み取り、処理してデータベースに書きたいと思います。だから私は消費者を書いたが、私はKafkaストリームアプリケーションを書くことができ、それをステートフルなプロセッサーを使って変更してデータベースに書き込むことができ、私の消費者コードを取り除くことができ、dbコードを書くだけだと思う。私は私のレコードを挿入したい

データベースは、次のとおりです。 HDFS - （挿入生JSON） MSSQL - （加工JSON）

別のオプションなしのJSONサポートは、今のところのようがないカフカが接続されているが、私が発見しましたhdfsシンクとjdbcシンクコネクタ。（私はavroで書いたくありません）、スキーマの作成は複雑なネストされたメッセージの痛みです。

これを行うにはカスタムカフカを書きますか？

あなたはカフカの消費者かカフカストリームかカフカのどちらを接続する必要があるかについて意見が必要ですか？パフォーマンス面で優れ、オーバーヘッドが少ないのは何ですか？

出典

2017-09-04 Nandish Kotadia

ようこそ、スタックオーバーフロー！あなたの意見を聞かないで、正確な質問で投稿してください - これはサイトをより明確にし、意見は回答ではなく（すべての人の好みに従います）。「Kafka-connect with jsonを使用する方法」と尋ねると、このサイトに適合します。

また、いくつかの調査を表示してください。

少ないオーバーヘッドがカフカ消費者だろう - カフカの流れ、あなたはいつもより少ないオーバーヘッドを作ることができるようになりますので、カフカは、使用カフカの消費者を接続するだけでなく、使い方の簡単な故障に対して寛容すべての利点を（、失うことになる、サポートなど）

まず、処理の内容によって異なります。集約？カウント？検証？次に、カフカストリームを使用して処理を行い、結果を新しいトピックに、必要な形式で書き込むことができます。

次に、kafka connectを使用してデータをデータベースに送信できます。あなたは、あなたが、キー/値の他の形式を使用し

Kafka Connect HDFS Sink for JSON format using JsonConverter

Kafka Connect not outputting JSON

出典

2017-09-04 09:30:14 Treziac

私が試してみましたHDFSは、JSONのために沈むが、** org.apacheを使用することはできません見ることができますアブロ使用するように強制されていません。 kafka.connect.json.JsonConverter **しかし、私は** org.apache.kafka.connect.storage.StringConverter **それは動作しますが、jsonオブジェクトを文字列エスケープ形式で記述します。たとえば、 ** {"name"： "hello"} **はhdfsに** "{\" name \ "：\" hello \ "}"として書き込まれます** –

だから、カフカ消費者またはカフカストリームまたはカスタムカフカを接続する。 –

私がしたい処理は、基本的な検証と少数のフィールド値の変換です。 –

何を使用すればいいですか：Kafka StreamまたはKafka consumer APIまたはKafka connect

答えて

関連する問題