パンダのチャンクで関数を記述する方法は？

Question

私は大きなcsvファイル（4GB以上）に取り組んでいます。

は、だから私はパンダのチャンク（メモリリーク）

に仕事をしなければならない。しかし、私は（、MIN、MAX、パーセンタイル、...カウント）全データの記述取る方法がわかりません。

がたくさんありがとうございました私は、この問題のためにいくつかのアドバイスをお願いします。その後

import pandas as pd 

nr_chunk_size = 10 
summary = [] 
df = pd.read_csv('your_file.csv', iterator=True, chunksize=nr_chunk_size) 
for chunck in df: 
    summary.append(chunck.describe().values) 

、あなたがsummaryリストを集約する必要があります。

Answer 1

は、あなたがこのような何かを行うことができ、あなたはcsvファイルを持っているとしましょう。カウントは簡単なはず、あなただけの最小値と最大値のために、あなたは

minimum = min([summary[i][3][0] for i in range(len(summary))]) 
maximum = max([summary[i][7][0] for i in range(len(summary))]) 

、すべての番号のリストを作成し、最小数を取る必要があり、そのよう

count = sum([summary[i][0][0] for i in range(len(summary))]) 

、としてそれを合計する必要があります

パーセンタイルの場合、データセット全体を取り込まないため、少し難しいです。おおよそのパーセンタイルの平均を取ることができます。