Apache Flume Kafkaプロデューサ - partition_id/keyを動的に生成

Question

私はApache Flumeを使用してKafkaトピックにメッセージを送信するタスクを持っています。警告は、メッセージに含めるIPアドレスに基づいてパーティションを指定する必要があることです。

これを動的に実行するようにApache Flumeを設定する方法はありますか、カスタムProducerプラグインを実装する必要はありますか？

ありがとうございます。

Answer 1

いくつかの調査の後で、プロデューサーを構成する唯一の実際のカスタム方法は、自分自身をロールバックすることです。

私はAbstractSinkインターフェイスを実装し、独自のハッシュアルゴリズムを使ってメッセージを送信するパーティションを生成しました。