私は2つのトピックAとBがあるカフカのシナリオを持っています。トピックAの消費者はオンラインであり、データを高速に消費する必要があり、トピックBの消費者はオフラインです。トピックBのコンシューマーはオフラインであるため、今はトピックBに関連するメッセージをキャッシュしたり、トピックAにキャッシュ全体を取得したりする必要はありません。いくつかのカフカトピックのキャッシングを無効にすることは可能ですか?カフカのトピックについてキャッシングを無効にすることはできますか?
編集: キャッシュとは、メッセージがメモリに保存され、コンシューマが(ディスクではなく)メモリからも読み取ることです。このシナリオでは、トピックAに関連するメッセージをメモリにキャッシュしたいと考えています。トピックBに関連するメッセージはメモリにキャッシュする必要はありません。あなたがspark.streaming.kafka.consumer.cache.enabled
を設定することができ、あなたはカフカの消費者のためのキャッシュを無効にしたい場合
:私は、トピックAが
キャッシングとはどういう意味ですか?どこでどのように? – PragmaticProgrammer
@PragmaticProgrammer私がキャッシュすることは、メッセージがメモリに保存され、コンシューマも(ディスクではなく)メモリから読み込むことです。このシナリオでは、トピックAに関連するメッセージをメモリにキャッシュしたいと考えています。トピックBに関連するメッセージはメモリにキャッシュする必要はありません。私はトピックAに、トピックBに与えられていたメモリ内のスペースを使用します。 – brokendreams