Pythonのパンダと大規模にマージするMemoryError

Question

約1000〜2000個のCSVファイルのセットに対してouterマージを実行するためにパンダを使用しています。各CSVファイルには、すべてのCSVファイル間で共有される識別子列idがありますが、各ファイルには3〜5列の固有の列があります。各ファイルには約2万の一意のid行があります。私がしたいのは、これらをまとめて、すべての新しい列をまとめて、マージインデックスとしてid列を使用することだけです。

私はそれが簡単なmerge呼び出しを使用して行います。

merged_df = first_df # first csv file dataframe 
for next_filename in filenames: 
    # load up the next df 
    # ... 
    merged_df = merged_df.merge(next_df, on=["id"], how="outer") 

問題はほぼ2000 CSVファイルで、私はパンダによってスローmerge操作でMemoryErrorを得るということです。私はこれがマージ操作の問題のために制限されている場合はわからないのですか？

最終的なデータフレームの行数は20,000で、おおよそ（2000 x 3）= 6000です。これは大きいですが、20 GBを超えるRAMを使用しているコンピュータのすべてのメモリを消費するのに十分な大きさではありません。このサイズはパンダの操作には大きすぎますか？代わりにsqliteのようなものを使うべきですか？このスケールで動作させるために、merge操作で変更できるものはありますか？

ありがとうございました。

Answer 1

は、私はあなたがconcat（外側のような役割を果たし参加）を使用して、より良いパフォーマンスを得るだろうと思う：

dfs = (pd.read_csv(filename).set_index('id') for filename in filenames) 
merged_df = pd.concat(dfs, axis=1) 

これは、あなたが唯一のマージ操作ではなく、各ファイルのいずれかを行っていることを意味します。

Answer 2

1GBファイルのread_csvを使用して32ビットのpytwhenで同じエラーが発生しました。 64ビットバージョンを試してみてうまくいけば、メモリエラーの問題を解決します。

Answer 3

pd.concatは大きなデータフレームでもメモリが不足しているようですが、dfsを行列に変換して連結します。

def concat_df_by_np(df1,df2): 
    """ 
    accepts two dataframes, converts each to a matrix, concats them horizontally and 
    uses the index of the first dataframe. This is not a concat by index but simply by 
    position, therefore the index of both dataframes should be the same 
    """ 
    dfout = deepcopy(pd.DataFrame(np.concatenate((df1.as_matrix(),df2.as_matrix()),axis=1), 
            index = df1.index, 
            columns = np.concatenate([df1.columns,df2.columns]))) 
    if (df1.index!=df2.index).any(): 
     #logging.warning('Indices in concat_df_by_np are not the same')      
     print ('Indices in concat_df_by_np are not the same')      


    return dfout 

インデックスは、メモリのとおり