カフカと接続してオンプレミスからクラウドへデータをストリーミングするためのS3コネクタ

Question

カフカを使用してオンプレミスからクラウド（S3）にデータをストリーミングしたいとします。私はソースマシンとクラウドにkafkaを組み込む必要があります。しかし、私は雲でそれをintsallしたくないです。私は、カフカと接続してオンプレミスからクラウドにストリームデータを送ることができるS3コネクタが必要です。

Answer 1

データがAvroまたはJson形式（またはそれらの形式に変換可能）の場合は、S3コネクタをKafka Connectに使用できます。 Confluent's docs on that

実際の（より大きい）ファイルをKafka経由で移動したい場合、Kafkaはファイル転送用ではなく小さなメッセージ用に設計されています。