非常に大きなデータリストを格納する

Question

非常に大きなリスト（80MBまでのサイズ）を格納する必要があります。データをチャンク化し、複数のキー（A_1、A_2 ...など）に格納できます。このソリューションは、エレガントなものから遠くに見えます。また、特定のドキュメントのチャンク数を知るために、検索辞書{'A'：[1,2、...]}を維持しなければならないオーバーヘッドがあります。

RedisまたはAerospikeでこれを行う方法は他にありますか？私はRedisを使用して地獄に惑わされるのではなく、他のストレージ（リレーショナルを除く）はまあまあです。

Answer 1

あなたの入力に基づいて、赤字リストが適合します。同じベンチマークを簡単に行うことができます。リストでは、ある範囲のデータにアクセスすると仮定します。すべてのデータをプッシュする

使用lpush、http://redis.io/commands/lpush

使用LRANGEはhttp://redis.io/commands/lrange

はあなたのリストのサイズが10,000になりラフスケールでは、あなたのアイデアを与えるために、データのチャンクを取得します。 80MBのデータを入れるのに必要な時間は約1秒かかります。 500データ（範囲内）のチャンクを取得する時間は約200ミリ秒かかります。これはあなたの入力、RTTなどに基づいて変わる可能性があります。