すぐに再利用できるようにMySqlクエリ結果を保存する

Question

私はPythonでMySqlデータベースのデータを分析しています。私は約200,000行のデータをデータベースに照会してから、Pandasを使ってPythonで分析します。私はしばしば、同じデータに対してさまざまな変数やパラメータなどを変更して、多くの繰り返しを行います。私はプログラムを実行するたびに、私はリモートデータベース（約10秒のクエリ）を照会し、プログラムが終了するとクエリ結果を破棄します。最後のクエリの結果をローカルファイルに保存し、クエリが同じかどうかを確認するためにプログラムを実行するたびにチェックし、保存された結果を使用したいと思います。私はcsvにパンダのデータフレームを書き込むことができたと思いますが、これを行うにはより簡単で簡単な方法がありますか？

Answer 1

何らかの理由でMySQL Query Cacheが役に立たない場合は、最新の結果セットをHDF5フォーマットまたはフェザーフォーマットで保存することをお勧めします。どちらのフォーマットもかなり高速です。あなたはここにいくつかのデモやテストを見つけることがあります。

https://stackoverflow.com/a/37929007/5741205

https://stackoverflow.com/a/42750132/5741205

https://stackoverflow.com/a/42022053/5741205

Answer 2

ただ、ファイルへのデータフレームを書き込むためにピクルスを使用して、（「化したりunpickle化したり」）それをリードバックします。

https://docs.python.org/3/library/pickle.html

これは、 "簡単な方法" になります。