2017-08-24 5 views
4

私は2つのトピックAとBがあるカフカのシナリオを持っています。トピックAの消費者はオンラインであり、データを高速に消費する必要があり、トピックBの消費者はオフラインです。トピックBのコンシューマーはオフラインであるため、今はトピックBに関連するメッセージをキャッシュしたり、トピックAにキャッシュ全体を取得したりする必要はありません。いくつかのカフカトピックのキャッシングを無効にすることは可能ですか?カフカのトピックについてキャッシングを無効にすることはできますか?

編集: キャッシュとは、メッセージがメモリに保存され、コンシューマが(ディスクではなく)メモリからも読み取ることです。このシナリオでは、トピックAに関連するメッセージをメモリにキャッシュしたいと考えています。トピックBに関連するメッセージはメモリにキャッシュする必要はありません。あなたがspark.streaming.kafka.consumer.cache.enabledを設定することができ、あなたはカフカの消費者のためのキャッシュを無効にしたい場合

:私は、トピックAが

+0

キャッシングとはどういう意味ですか?どこでどのように? – PragmaticProgrammer

+0

@PragmaticProgrammer私がキャッシュすることは、メッセージがメモリに保存され、コンシューマも(ディスクではなく)メモリから読み込むことです。このシナリオでは、トピックAに関連するメッセージをメモリにキャッシュしたいと考えています。トピックBに関連するメッセージはメモリにキャッシュする必要はありません。私はトピックAに、トピックBに与えられていたメモリ内のスペースを使用します。 – brokendreams

答えて

1

カフカは、メッセージの格納とキャッシングにファイルシステムを大きく依存しています。カフカでキャッシングに使用できる唯一の設定は、着信メッセージをバッファリングするために使用されるクライアントのストリーミングバッファサイズです(cache.max.bytes.buffering)。

5

あなたは、特定の消費者のためのキャッシュを無効にすることができトピックBに与えたであろうメモリ内のスペースを使用したいです〜false

これはthis github repositoryに基づいており、私はそれをさらに明確にすることをお勧めします。

+0

ブローカのキャッシュを無効にすることはできますか? – brokendreams

+0

ブローカのキャッシュ構成は使用できません。 – Billa

関連する問題