MongoDBを使用して、データベースに約10万件の統計情報のログを毎日保存します。現在、コレクションは1億レコードに達しています。このデータはデータマイニングには役立ちますが、頻繁にアクセスされることはありません。最近、主なMySQLデータベースからMongoデータベースに移行しました。これは理想的ではないことが判明しました.Mongoは高速読み込みに最適化されており、すべてのインデックスをメモリに保持しています。このテーブルのインデックスは非常に大きいです。大量のアクセス頻度の低いデータセットのデータベースソリューション
大量のデータを毎日の大量の書き込みに使用する良い方法はありますが、読み取り頻度は低いですか?私たちは別のシステムにMySQLをインストールすることを検討しています。別の可能性は、メモリにインデックスを保持する必要のないNoSQLソリューションかもしれません。
既にmysqlでアーカイブストレージエンジンを利用しましたか?ほとんど参照されないデータのために直接意図されています。 http://dev.mysql.com/tech-resources/articles/storage-engine.html – DeaconDesperado
「毎日の大量の書き込みに大量のデータを保存するには良い方法です」 - データベースサーバーで、ハードウェアが良好で、正しく設定してください –
ETLツールを使用してOLAPウェアハウスにデータを移動することを検討してください(おそらく他のMySQLであっても)。これは、発生する必要のあるデータの廃棄または整形などに影響を与える可能性があります(または影響を受ける可能性があります)。 –