KafkaのトピックとHDFSの接続

Question

Kafka ConnectのHDFSコネクタを構成して、いくつかの別々のトピックを1つのファイルに書き込み/結合することは可能ですか？

トピックには同じavroスキーマのメッセージが含まれており、KafkaConnectをそれらのKafkaトピックとHDFSの間の仲介者として機能させたいと思います。最悪のシナリオでは、HDFSに書き込まれた後にトピックの内容が結合される可能性がありますが、HDFSコネクタではよりクリーンで迅速な方法が可能なように感じられます。

Answer 1

現在、HDFSコネクタは各トピックを独自のディレクトリに書き込みます。 HDFSに書き込む前にディレクトリを結合することも、HDFSに書き込む前にカフカのトピックを結合することもできますが、コネクタ自体はそれを行いません。