多くの巨大なcsvファイルの効率的なマージ

Question

ディレクトリ内のすべてのcsvファイルを取り込んで、外部結合を使用してそれらを並べてマージするスクリプトがあります。問題は、自分のコンピュータのチョーク（MemoryError）が、私が参加する必要のあるファイル（約6-12Gbのファイルが約2ダース）に使用しようとすることです。私はitertoolsを使ってループをより効率的にすることができることを知っていますが、この状況に適用できるかどうか、またどのように適用できるかは不明です。私が考えることのできるもう1つの方法は、mySQLをインストールし、基本を学び、これを実行することです。私はすでにそれを学んでいるので、明らかに私はむしろPythonでこれを行うだろう。 Rベースの解決策も受け入れられるだろう。ここで

私のコードです：

import os 
import glob 
import pandas as pd 
os.chdir("\\path\\containing\\files") 

files = glob.glob("*.csv") 
sdf = pd.read_csv(files[0], sep=',') 

for filename in files[1:]: 
    df = pd.read_csv(filename, sep=',') 
    sdf = pd.merge(sdf, df, how='outer', on=['Factor1', 'Factor2']) 

私のコンピュータのメモリには大きすぎるファイルでこれを行う方法について何かアドバイスをいただければ幸いです。

Answer 1

使用は、私の意見で、それは非常によくあなたのニーズに合うでしょう。 out-of-core queriesも処理されるので、MemoryErrorに直面する必要はありません。

import os 
import glob 
import pandas as pd 
os.chdir("\\path\\containing\\files") 

files = glob.glob("*.csv") 
hdf_path = 'my_concatenated_file.h5' 

with pd.HDFStore(hdf_path, mode='w', complevel=5, complib='blosc') as store: 
    # This compresses the final file by 5 using blosc. You can avoid that or 
    # change it as per your needs. 
    for filename in files: 
     store.append('table_name', pd.read_csv(filename, sep=','), index=False) 
    # Then create the indexes, if you need it 
    store.create_table_index('table_name', columns=['Factor1', 'Factor2'], optlevel=9, kind='full') 

Answer 2

チャンスがありますdaskあなたの使用に適しています。それは、マージ後に何をしたいかによって異なる場合があります。

Answer 3

あなたはpythonでこれを行うことができるはずですが、私はcsvを一度に読むことがあなたのメモリの最も効率的な使用になるとは思わない。

How to read a CSV file from a stream and process each line as it is written?