Kafkaは逆順でメッセージを消費します

Question

私はKafka 0.10を使用しています。私のIoTデバイスがログを投稿するトピックlogsを持っています。私のメッセージの鍵はdevice-idなので、同じデバイスのすべてのログは同じパーティションにあります。 。

私はapi /devices/{id}/tail-logsを持っており、コールが行われた瞬間に1つのデバイスのN個の最後のログを表示する必要があります。

現在、デバイスのログを含むパーティションの最初（つまり最も古いログ）から、現在のタイムスタンプに達するまで、非常に不安定な方法で実装されています（ただし動作​​します）。私が得ることができれば

Aより効率的な方法は次のようになり、現在の最新のオフセット、その後

（私は私が探しているだけのデバイスのそれらを保つために、いくつかのメッセージをフィルタリングする必要があります）後方メッセージを消費それはカフカでできますか？どのようにこの問題を解決することができない場合は？ （もっと重い解決策は、弾性検索にリンクされたカフカ接続をしてからelasticsearchをクエリすることですが、これに2つのコンポーネントを追加するにはちょっと残酷に見える...）

Answer 1

0.10.2で、私はKafka Streamsアプリケーションを書くことをお勧めします。アプリケーションはステートフルになり、ステートは最後のN個のレコード/ログを保持しますdevice-id - 新しいデータが入力トピックに書き込まれた場合、Kafka Streamsアプリケーションは状態を更新します（トピック全体を再読み込みする必要はありません）。 ）。

さらに、アプリケーションはまた、あなたが（「API /devices/{id}/tail-logs」Interactive Queries機能を使用して要求する機能。

をこのように、私は各要求のための答えを再計算しなければならないステートレスなアプリケーションを構築するが、ステートフルなアプリケーションを構築しないことすべての可能なリクエスト（つまり、すべてdevice-id）に対して結果を熱心に計算して（結果を自動的に更新する）、要求が入ったときにすでに計算された結果を返します。