.Netファイル形式？

Question

私たちの会社は、大量のラボセンサーデータを保持するファイル形式をしばらく見てきました。彼らは計測を実行するたびに、ファイルを生成します。このファイルは、傾向分析のためにデータベースに保存しています。データを「グループ化」することができるので、階層形式が好まれます。これはデータをデータベースに入れる前の中間ファイル形式です。私たちの開発環境のために、これは私たちの優先リストです：

1）.Netに準拠しています。このAPIは、Webサービスとクライアントアプリケーションで使用されます。私たちは顧客の環境を支配していないので、pure.Netソリューションが最適です。

2）読み込み速度。私たちの読書は、逐次ではなくランダムです。速いほど良い。私たちがC＃開発の店でなければ、速度は＃1だと言います。

3）ファイルサイズ。ファイル自体が大きい場合、良好な圧縮率（86％以上）が望ましい。

4）読み取りのメモリフットプリント。大量のデータがあるため、単に読むことができません。各センサは時間/値の対を有する。これにより、4百万以上のペアが生成されます。これによりXMLが削除されました。

私たちは現在、HDF5を見て、APIがひどく.NETの分野で欠けていること、Webサービスを行うことができないこと、サイズ/スピードを求めていることを発見しました。私もJSONを見ていると有望そうだが、データの一部を読み返すことはしていない。私はウェブを検索し、私たちが必要とする多くのファイル形式を見つけられませんでした。どんな助けもありがとうございます。

Answer 1

は、次のような、Bツリーデータベースが必要になります。また、SQLiteのを見て

コンパクト

SQL Serverの http://sqlite.phxsoftware.com/

あなたはSQLの一部 グーグルで済ますことができればCTreeは、ISAMの詳細ですctree

申し訳ありませんがために、私はこれは新しいacctの

Answer 2

私は特殊な読書の要件はどのフォーマットでも問題になると思います。この場合、独自のパーサーを実装する必要があります。

Answer 3

バイナリツリー/バランスツリー形式の方があまり苦労しない場合は、Newick Formatに格納することができます。また、JSONのようなキー/値のペア形式をサポートすることもできます。

JSONより軽量ではありませんが、 "{}"は "（）"に置き換えられました。

（（アライグマ、 熊）、（（sea_lion、シール）、（（サル、ネコ）、 イタチ））、イヌ）。

明らかにバイナリツリーなので、クエリは非常に高速ですが、おそらくJSONオブジェクトの辞書よりも高速ではありませんが、リンクリストスタイルのヒエラチャ（オブジェクトグラフ）は心配ありません。

私は、しかし、私はそれのために任意の.NET APIを見つけることができませんでした怖いだけで、JavaとCの

Answer 4

私はあなたがある場合は、データベース内のテーブルにこの情報を格納したほうが良いかもしれないと思いますSQL Serverを使用して、VARBINARYがその作業を行う必要があります。

テーブルは階層構造にすることができます。[Parent]フィールドは、トップレベルノードではnullにすることができます。

ルックアップ値（ファイルのID）にインデックスを付けると、ランダムアクセスが高速になります。圧縮が必要な場合は、GZipクラスを使用して生のバイト[]をフォーマットしてからデータベースに貼り付けることができます。この情報のデータベースを使用して

はあなたに能力を与える：

1）狂気のクエリを実行し、などに参加します 2）複数の列にインデックスを付けて、異なるキー値を高速に検索することができます 3）.Netには複数のAPIがあります。 4）速度に悪影響を及ぼさない場合は圧縮を追加できます 5）データをバックアップする必要がありますあなたのお手伝いをしてください

このアドバイスはあなたを助けますか？