Redisサーバーにアップロードするデータの準備

Question

10 GBの.xmlファイルがあります。これは、一括挿入を使用してredis serverにアップロードします。この.xmlデータを、キー、値、または他のデータ構造に変換する方法についてアドバイスが必要ですか？私はスタックを使ってフローダンプを処理しています。たとえば、comments.xmlを使用するとします。

データパターン： 行Id = "5" PostId = "5" Score = "9" Text = "これは理論上のAIに関する非常に疑問なことですが、面白い議論ですが外れています..." CreationDate = " 2014-05-14T00：23：15.437 "UserId =" 34 "

特定のユーザーIDまたは特定の日付のコメントをすべて取得したいとします。

まず、私はRedisのに適したデータ構造にこの.xmlの日付を準備するにはどうすればよい

1. 。

2. どのようにしてRedisにアップロードできますか？私は窓にRedisを使用しています。コマンドpipeとcatは動作していないようです。私はcentosを使って疲れましたが、私はWindows上でRedisを使う方が好きです。

Answer 1

適切なデータ構造を選択する前に、どのようなタイプのクワイアを理解する必要があります。たとえば、ユーザー固有のデータがあり、ユーザーごとに異なるユーザー・アクティビティをグループ化し、結果を集約する必要がある場合は、異なる構造、索引の作成、データのチャンクなどの分割が必要です。

大量の集約データ（45GB）の場合、LRANGEよりも複雑なため、ZRANGEで使用可能なSortedSetsが見つかりました。データサイズに基づいてデータを分割し、各ZRANGEをスレッド単位で個別に処理し、結果を結合することができます。

この構造の上に、比較的少量のデータに対してのみデータを反復する必要があるLISTSでインデックスを追加できます。