パンダread_csv（）140GBのRAMを搭載したVM上の1.2GBのファイルメモリ

Question

25Kレコードを含む1.2GのCSVファイルを読み込もうとしていますが、それぞれIDと大きな文字列で構成されています。 VMは、140ギガバイトのRAMを持っているので、奇妙なようだ

pandas.io.common.CParserError: Error tokenizing data. C error: out of memory

と10K行でメモリ使用量はわずか約1％以下である：

はしかし、10K行の周りに、私はこのエラーを取得します。

これは私が使用するコマンドです：

pd.read_csv('file.csv', header=None, names=['id', 'text', 'code']) 

また、私は成功し、100％近くまで私の記憶を埋めることができ、次のダミーのプログラムを、走りました。

list = [] 
list.append("hello") 
while True: 
    list.append("hello" + list[len(list) - 1]) 

Answer 1

これはchunksizeのための仕事のように聞こえます。これは、入力プロセスを複数のチャンクに分割し、必要な読み取りメモリを減らします。

tp = pd.read_csv('Check1_900.csv', header=None, names=['id', 'text', 'code'], chunksize=1000) 
df = pd.concat(tp, ignore_index=True) 

Answer 2

このエラーは、指定されたメモリエラーではなく、無効なcsvファイルで発生する可能性があります。

使用可能なRAMよりもはるかに小さいファイルでこのエラーが発生し、二重引用符を閉じずに一行に二重引用符があることが判明しました。

この場合、データを確認するか、quoting=3をpd.read_csvに渡すなどして、パーサの引用動作を変更することができます。