2012-03-15 9 views
5

インデックス付きで大きなデータセット(数百ギガバイトの範囲)を格納できるツールがcdb(定数データベース)に似ていますファイル。 CDBは理想的な候補ですが、2GBのファイルサイズの制限があり、適切ではありません。 私が探している機能は、バイナリのキーと値をサポートする永続的なキー値ストアです。データベースを作成した後は読み取り専用であり、決して変更されません。 ツールをお勧めしますか?そして、私は数十億のレコードを保存するので、ストレージのオーバーヘッドは小さくすべきです。cdb - 大容量ファイル用の定数キー値ストア(数百GB)

私はスタンドアロンサーバーではなく、DB管理ライブラリ(埋め込み可能)を探しています。 Cプログラムの中で使うことができるもの。

おかげで、 RG

答えて

3

別のオプションを検討することができます小さい場合ダン・J.バーンスタインのCDBから延長されたMCDB、です。

https://github.com/gstrauss/mcdb/

MCDBは、非常に大規模な定数のデータベースをサポートし、両方のデータベースの作成とデータベースへのアクセスのために、CDBよりも高速です。それでも数百ギガバイトのデータベースを作成するには少し時間がかかります。 mcdbは、キャッシュされたデータの場合は数秒で、ギガバイトのサイズのデータ​​ベースを作成することができます。

https://github.com/gstrauss/mcdb/blob/master/t/PERFORMANCE

(情報開示:私はMCDBの著者午前)

1

hamsterdb(私は著者のだ)、BerkeleyDBの、東京のキャビネットがあります。

hamsterdbはbtreeを使用しているため、データを並べ替えます。 tokyoキャビネットはハッシュテーブルなので、ソートされません。 berkeleydbは両方を行うことができます。私が推薦する何を言うべき

言うまでもなく;)

それらのすべては、Cのアプリケーションにリンクすることができます。いずれも2GBの制限がありません。

さようなら クリストフ

+0

おかげで、クリストフ。私はこれらの店を知っていましたが、さらに低レベルのものを探していました。しかし、今私はそれが良い考えではないと思う。昨日私はバークレーで実験を始めました。おそらく仕事をするでしょう。ハムスターを使用しないと申し訳ありません - 私のシステムにはberkeleyが既にインストールされています... – nightwatch

+0

東京キャビネットにはB +ツリーデータベースがあります... – michaelmeyer

関連する問題