パンダのデータフレームをサブデータフレームのリストに分割する最も速い方法

Question

大きなデータフレームdfがあります。indicesの固有リストがdf.indexにあります。 indicesに要素で索引付けされたすべてのサブデータフレームのリストを作成する必要があります。 （df約3e6行、および3e3ユニークなインデックスを持っている）ものの、具体的にこのコマンドを実行する

list_df = [df.loc[x] for x in indices] 

は年齢を取っています。これはこの操作を実行するのに合理的な方法ですか？この問題や関連する問題のパフォーマンスを向上させることができるようなコメントや提案をいただければ幸いです。

ありがとうございます！あなたは、インデックスによってgroupbyオブジェクトにリストの内包表記を使用することができます

Answer 1

- 、level=0高速化ソリューションのソートsort=False変更デフォルト：

L = [x for i, x in df.groupby(level=0, sort=False)] 

---

np.random.seed(123) 
N = 1000 
L = list('abcdefghijklmno') 
df = pd.DataFrame({'A': np.random.choice(L, N), 
        'B':np.random.randint(10, size=N)}, index=np.random.randint(100, size=N)) 

In [273]: %timeit [x for i, x in df.groupby(level=0, sort=False)] 
100 loops, best of 3: 9.91 ms per loop 

In [274]: %timeit [df.loc[x] for x in df.index] 
1 loop, best of 3: 417 ms per loop