Redisキャッシュを使用してラージオブジェクトをキャッシュする方法

Question

現在のキャッシング実装では、レポートオブジェクトに大量のデータをキャッシュします（場合によっては50MB）。

メモリキャッシュからファイルキャッシュに移動し、ProtoBufを使用してシリアライズおよびデシリアライズしました。これはうまくいきますが、Redisのキャッシュを試しています。 以下は、ファイルシステムを使用する場合よりもRedisにかかる時間の例です。 （注：JsonConvertの代わりにprotobufを使用すると、設定時間が15秒に短縮され、バイト配列を設定する場合、以下の例では4秒になります）。

// Extremely SLOW – caching using Redis (JsonConvert to serialize/de-serialize) 
IDatabase cache = Connection.GetDatabase(); 

// 23 seconds! 
cache.StringSet("myKey", JsonConvert.SerializeObject(bigObject)); 

// 5 seconds! 
BigObject redisResult = JsonConvert.DeserializeObject<BigObject>(cache.StringGet("myKey")); 




// FAST - caching using file system (protobuf to serialize/de-serialize) 
IDataAccessCache fileCache = new DataAccessFileCache(); 

// .5 seconds 
fileCache.SetCache("myKey",bigObject); 

// .5 seconds           
BigObject fileResult = fileCache.GetCache<BigObject>("myKey");        

ご協力いただきありがとうございます。

ps。私は尋ねられた同様の質問から答えを見つけませんでした。 Caching large objects - LocalCache performance

又は

Caching large objects, reducing impact of retrieval times

Answer 1

それはシングルスレッド・サーバであるため、実際にはラージオブジェクト（多くのMB）を格納するために設計されていないのRedis。したがって、1つのリクエストは十分に高速ですが、1つのスレッドですべて処理されるため、リクエストが遅くなります。最後のバージョンでは、いくつかの最適化が行われました。

RAMとメモリ帯域幅の速度は、特に小規模なオブジェクトのグローバルパフォーマンスにとってあまり重要ではないようです。大きなオブジェクト（> 10 KB）の場合、目立つようになることがあります。 Redisを最適化するために、高価な高速メモリモジュールを購入するのは、通常、コスト効率のよい方法ではありません。 https://redis.io/topics/benchmarks

したがって、可能であればジャンボフレームを使用したり、より高速なメモリを購入したりすることができます。しかし、実際にはそれは大きく助けにならないでしょう。 代わりにMemcachedの使用を検討してください。これはマルチスレッドであり、大量のデータをサポートするために水平方向にスケールアウトすることができます。 Redisは、マスター/スレーブの複製でのみスケーリングできます。