私たちは、数千のSyslogメッセージをインデックス化して保存するシステムを特定しています。これらはテキストメッセージで、システム名、日付/時刻、メッセージタイプ、メッセージ本文などの属性があり、通常はそれぞれ100〜1500バイトです。多数の小さな文書を全文検索するベストデータストア? (Splunkのようなシステムのような)
これらのメッセージは1日に2〜10ギガバイト生成され、少なくとも30日間は保持する必要があります。
splunkシステムには、すばらしいインデックス作成と文書圧縮システムがあります。
使用するには?
私はモンゴブを考えましたが、この小さなサイズの書類には不適切と思われます。
SQL Serverは可能性がありますが、この目的では非常に効率的ではないようです。
luceneのテキストファイルですか? - Windowsファイルシステムは、常にファイル数が多いdirを好きではありません。
提案ですか?
ありがとうございます!
""私はモンゴブのことを考えましたが、この小さなサイズの書類には不適切です。 " –
良い質問です。ここの開発者の一人はmongodbプロジェクトを行っています。彼は、mongodbが全文検索でそれぞれ100〜1500バイトの3億件の文書にぴったり合っていると思っていたと言いました。おそらく、彼は間違っていますか? – Jonesome