Python pandasでは、データフレームの変換速度を向上させる方法はありますか？

Question

私は1M行のDataFramesをdictに変換する必要があります。標準的なパンダの方法はかなり長いです。

import pandas as pd 
import numpy as np 

df = pd.DataFrame(data={"col": np.ones(100000)}) 
%time dict = df.to_dict(orient="index").values() 

CPU times: user 5.88 s, sys: 81.3 ms, total: 5.96 s 
Wall time: 6.23 s 

このプロセスの速度を向上させる方法はありますか？

Answer 1

数値が必要な場合は、orient='records'を使用すると、パフォーマンスが大幅に向上します。

In [43]: %timeit df.to_dict('i').values() 
1 loop, best of 3: 6.23 s per loop 

In [42]: %timeit df.to_dict('r') 
1 loop, best of 3: 822 ms per loop 

'r'は、'records'の別名です。

また、rを使用する利点は、結果が既に一覧として表示されていることですが、前者ではdict_valuesをlistに変換する必要があります。