パンダのチャンクサイズによるエラーの解決方法

Question

大きなCSVファイルを読み込み、コードを実行しようとしています。私は同じようにチャンクサイズを使用します。

file = "./data.csv" 
df = pd.read_csv(file, sep="/", header=0,iterator=True, chunksize=1000000, dtype=str) 
print len(df.index) 

私は、コード内で次のエラーを取得する：

AttributeError: 'TextFileReader' object has no attribute 'index' 

これを解決する方法は？

Answer 1

これらのエラーは、pd.read_csvコールがこの場合はDataFrameオブジェクトを返さないという事実に起因しています。代わりにオブジェクトを返します。このオブジェクトはiteratorです。これは、基本的に、パラメータをTrueに設定した場合、返されるのはDataFrameではないためです。 chunksizeパラメータ（この場合は1000000）に渡される整数の各データフレームオブジェクトのiteratorです。 具体的にはdf.indexを呼び出すことはできません。単にiteratorオブジェクトにindexという属性がないためです。これは、iterator内のDataFramesにアクセスできないという意味ではありません。つまり、一度にDataFrameにアクセスするためにイテレータをループするか、またはそれらのすべてを1つの巨大なものに連結する何らかの方法を使用する必要があります。

あなただけ一度に一つのDataFrameで作業を検討している場合は、次はあなたが各DataFrameのインデックスを印刷するために必要となるものです。

file = "./data.csv" 
dfs = pd.read_csv(file, sep="/", header=0,iterator=True, chunksize=1000000, dtype=str) 

for df in dfs: 
    print(df.index) 
    # do something 
    df.to_csv('output_file.csv', mode='a', index=False) 

この出力にDataFramesを保存しますファイル名はoutput_file.csvです。 modeパラメータをaに設定すると、操作がファイルに追加されます。その結果、上書きする必要はありません。あなたはすでにここiteratorパラメータを使用しているので、私は、

file = "./data.csv" 
dfs = pd.read_csv(file, sep="/", header=0,iterator=True, chunksize=1000000, dtype=str) 

giant_df = pd.concat(dfs) 

print(giant_df.index) 

：あなたの目標は、1つの巨大なDataFrameにすべてのデータフレームを連結する場合

しかし、その後、次はおそらく、より適切なパスになりますあなたは記憶を心配していると思います。このように、最初の戦略はより良いものになるでしょう。基本的には、大きなデータセットのメモリ管理に関して、iteratorsが提供する利点を利用していることを意味します。

私はこれが有用であることを望みます。