大きなCSVファイルで作業中にpython pandasのメモリエラーが発生しました

Question

大きなCSVファイル（3000万行以上）でPandasを使用しているときにメモリの問題が発生しました。だから、私はこれのための最善の解決策は何ですか？私はカップルの大きなテーブルをマージする必要があります。どうもありがとう！

Answer 1

Fastest way to parse large CSV files in Pandasの可能な複製。

推論はあなたが頻繁にロード csvファイルのデータであれば、より良い方法は、（従来のread_csvで）一度それを解析し、HDF5形式に保存するだろう、です。 Pandas（PyTablesライブラリ）は、この問題を効率的に処理する方法を提供します[docs]。

また、What is the fastest way to upload a big csv file in notebook to work with python pandas?への答えはあなたcsv対csv.gz対Pickle対HDF5比較したサンプルデータセットの時限式実行（はtimeit）を示しています。