2017-05-06 20 views
0

私は今後のプロジェクトで多くのテクノロジーを扱っています。私は研究の始まりです。私は自分の問題を戦略化するために他の人の意見があれば最善の方法かもしれないと思った。オンラインのhtmlテーブルにCSVファイルを使用

問題:私は大きなcsv(100,000以上のエントリを含む)があります。私はこのcsvファイルからオンラインのHTMLテーブルを作成する必要があります。この表は検索可能でソート可能である必要があります。

私は2つの可能な解決策を作ってみた:私が集めたものから

1)を使用したデータベース

、データベースの多くは、作成するためにCSVファイルをインポートする機能を提供しています検索可能なデータテーブル。しかし、標準のSQL型データベース(MySQLやPostgresSQLなど)を使用する場合や、MongoDBのようなNoSQL型データベースを使用する場合は、どのような違いがあるのか​​分かりません。 MongoDBやRethinkDB(ライブデータストリーミング用)など、データベースのようなNoSQLに精通しています。(明らかに、私はその技術の専門家ではありません。

2)は、手動検索のためのコードを実装するために私を強制するJSONへのcsvファイルを解析し、jQueryのようなものか、他の何かでソートJSON

にcsvファイルを解析します。このソリューションは、本質的にデータベースを使用するよりも優れたソリューションのようには見えません。

この問題のもう1つの側面は、csvファイルを毎日または毎週書き直すことです。このようなことをどうすれば処理できますか?データベース内の古いテーブルのデータを削除し、新しいcsvのデータを含む新しいテーブルを再作成する必要がありますか?

注NodeJSは、Fullstack JavaScript開発に伴う他のライブラリ/ API /フレームワークで使用されている可能性があります。しかし、私は他の言語/スタックからのソリューションの使用や聞き取りに反対していません。

また、私の問題はCSVファイルの複雑さに依存していると思います(私はまだ分かりません)。

ありがとうございました!大変感謝しています。

答えて

0

1つのCSVと1つのフラットテーブルの場合。私はSQLやnoSQLがどのように重要かはわかりません。

CSVの場合、個々のレコードを識別する固有のキーまたは結合されたユニークキーがレコードに含まれている場合は、dbにインポートされた最後のレコードのユニークキーのレコードを保持します。前回インポートされた以前のレコードに変更を加えずにcsvファイルを追加する場合は、各インポート時にファイルのサイズを取るだけで十分です。

これらの情報を使用して、最後にインポートされたレコードの終わりまで迅速に検索し、デルタcsvを作成します。追加のレコードは、COPYのようなコマンドでデータベースに簡単にインポートできます。私はあなたが興味のかもしれないと思うjavascriptのデータグリッドのHow to import CSV file data into a PostgreSQL table?

一つ。 https://github.com/6pac/SlickGrid/wiki/Examples

はcsvファイルをインポートすると、クエリは、直接、例えば、PostgreSQLの内JSONに変換することができ、言及するのを忘れました PostgreSQL return result set as JSON array?

関連する問題