大きなデータセットをデータフレームのパンダに連結する方法

Question

私は、数百メガバイトの非常に大量のCSVデータセットを扱っています。私は塊（〜100行）のデータを読み込むことができました。 これらのチャンクをエレガントにデータフレームに変換して、それにdescribe関数を適用するにはどうしたらいいですか？ は、あなたがread_csvの出力が何であるかをTextFileReaderオブジェクトのconcat必要があると思われるあなた

Answer 1

ありがとうございました場合describeとパラメータchunksize：

とても美しいです

df = pd.concat([x for x in pd.read_csv('filename', chunksize=1000)], ignore_index=True) 
df = df.describe() 
print (df)