複雑なデータ用のkafkaメッセージ形式\メッセージ

Question

私たちはシステムでストリーム処理にkafkaを使用しています。入力データ\メッセージの構造は非常に複雑です。どのように入力メッセージの構造を定義するか。これは入力データ\メッセージのための最も適切な構造と直列化メカニズムです。

Answer 1

以下のシリアライザを使用して、入力メッセージをシリアル化できます。

1. Apache commons lang3 serializer - 最も簡単な実装
2. Kryo Serialization - 高速かつ効率的なシリアライザ
3. Avro Serialization - 私はKryoのserailizerを実装するためにあなたを推薦するレジストリ

と時間をかけて、スキーマの進化をサポートしています。