カフカ接続調整

Question

REST APIを公開している怠惰な消費者に代わってメッセージを消費するという要件があります。したがって、私はKafkaのトピックからメッセージを取り出し、公開されたAPIでHTTP POST操作を行うシンクコネクタを用意する予定です。

考慮すべき重要な要因の1つにスロットリングがあります。 Sink TasksがAPIのティアSLAを満たすように調整するには、どのようなメカニズムを提案しますか。 Kafkaにはクライアントのクォータ機能がありますが、クライアントのクォータを動的に調整できるAPIリクエスト/分または秒を追跡する最適なメカニズムは何ですか？

Answer 1

REST APIのレート制限を実装する最良の方法は、必要に応じてブロックすることによって、あなたのコネクタコードにあると思いますSinkTask.put()。 SinkTaskのレベルのレート制限が十分であるのか、それともグローバルにする必要があるのか​​を考えたいと思うかもしれません。

あなたが検討していたKafkaクォータを使用する利点は、分散されたアスペクトが処理されることですが、現在は転送されたバイト数でしか構成できないと考えられます。