Azure Blobストレージ用Kafkaコネクタ

Question

私はKafkaにプッシュされたメッセージを深いストレージに保存する必要があります。私たちはAzureクラウドサービスを使用していますので、Azure BLOBストレージがより良い選択肢になると思います。私はKafka ConnectのシンクコネクタAPIを使用してデータをAzure BLOBにプ​​ッシュしたいと考えています。 KafkaのドキュメントではHDFSにデータをエクスポートするよう提案していますが、その場合はHadoopを実行するLinux VMが必要です。私の質問は、Azure BLOBストレージがJSONオブジェクトを格納する適切な選択肢であり、カスタムのシンクコネクタを構築することは、このケースでは合理的な解決策ですか？

Answer 1

カスタムシンクコネクタは間違いなく動作します。 Kafka Connectはコネクターを差し込めるように設計されています。実際、コネクタの開発は完全に統合されています。 ConfluentのJDBCとHDFSコネクタは、2つのユースケースの人気のために最初に実装されましたが、さらに多くのものがあります（私たちが気づいているコネクタのリストを保持します）。

Azure BLOBストレージが適切なJSONオブジェクトについて言及しておきたいと思いますが、オブジェクトのサイズとAzureストレージのサイズがオブジェクトの数である&をうまく扱うかどうかだけ考えてください。他のオブジェクトストレージシステムでは、多数のオブジェクトを単一のBLOBに集約して多数のオブジェクトのパフォーマンスを向上させる必要があります（つまり、多くのJSONオブジェクトをサポートするファイル形式が必要な場合があります）。