Pythonの計算効率の良いデータ格納方法

Question

サーバからのHTTPリクエストを介して構造化数値データ（浮動小数点数2〜10小数点以下のスペース）を取得しています。データは、一連の数値として入力され、配列/リストに変換されます。私は各データセットを自分のコンピュータ上にローカルに保存して、それをさらに操作できるようにしたいと思います。

これらのデータセットは非常に多く収集される必要があるため、.txtファイルに入ってくる各データセットを書き込むだけでは効率的ではありません。一方、私は、mongodb、PythonからSQLインターフェイスなどのさまざまなソリューションがあることを認識しています...しかし、私はどちらを使うべきか、このシナリオにとって最も適切で効率的なものは不明です。

また、作成されるデータベースは、MATLABなどの異なる言語からのインターフェイスとクエリが可能でなければなりません。

Answer 1

もしもどこかに保存してMATLABがそれを扱うことができるのであれば、データベースsupported by matlabから選択し、そのデータベースのPython用の適切なドライバをインストールします。

Pythonのすべてのデータベースには標準のAPI（dbapiと呼ばれています）がありますので、データベースを一様に扱う方法があります。

このデータを後で使用する方法を教えてくれていないので、詳細を説明することは困難です。

---

アイデアは、代わりに有していると私は（ 実行分析とそれに特定の数学演算を実行）私は、後でローカルでそれを操作することができるように、基本的に 私のマシンにすべてのデータをダウンロードしたいということです をサーバーから絶えず呼び出す必要があります。

この目的のために、MATLABでサポートされているすべてのデータベースがPythonでサポートされているため、テキストファイルからMATLABでサポートされている任意のデータベースへの任意のストレージメカニズムを使用できます。

データを「テキスト」として保存し、アプリケーション側（つまり、MATLAB側）で数値計算を行うことができます。または、必要な精度に応じて数値/浮動小数点/小数としてデータを格納することもできます。これにより、データベース側で計算を行うことができます。

テキストとして保存してアプリケーション側で計算したいのであれば、最も簡単なオプションはスキーマレスなのでmongodbです。あなたはJSONとしてデータを格納しています - これは、Webから取得されている形式かもしれません。

数学関数やその他の機能（地理空間計算など）を利用したい場合は、使い慣れた伝統的なデータベースを使用することをお勧めします。スキーマを作成し、着信データオブジェクトごとにデータ型を定義する必要があります。データベースのクエリ機能を利用するために適切に格納します。

Answer 2

peeweeのような軽量のORMを使用することをお勧めします。これは、いくつかのSQLデータベースを保存方法として使用できます。それから、あなたが望むデータベースを選ぶことになります。最も単純なデータベースはsqliteですが、PostgreSQLやMySQLのような別のデータベースへの切り替えが十分に速くないと判断する必要はありません。

ORMの利点は、Python構文を使用してSQLデータベースとやりとりでき、SQLを習得する必要がないことです。

Answer 3

あなたはHDF5を考えましたか？これは数値データにとって非常に効率的で、PythonとMatlabの両方でサポートされています。