chunkksizeイテレータを除いて試してください

Question

大きなcsvファイルを読んでいますので、chunksizeパンダのイテレータを使用しています。しかし、私はParserErrorを取得するので、私はtryを使用していると思っていました。このエラーが発生した場合、次のチャンクの繰り返しに渡したいと思います。 だから私はそれをテストした：

df = pd.read_csv("file.csv",iterator=True) 
d=True 
while d==True : 
    try: 
     df.get_chunk(500000) 
    exept ParserError : 
     pass 
    except StopIteration: 
     d=False 

をしかし、私はこのエラーを取得：

NameError : name "ParserError" is not defined。

ありがとうございました！

Answer 1

最近のバージョンのパンダでは、read_csvは反復処理中に渡すことができるchunksize引数を受け入れることができます。

for chunk in pd.read_csv("file.csv", 
         chunksize=500000, 
         iterator=True, 
         error_bad_lines=False, 
         engine='python'): 
    ... # do something with `chunk` 

それはforハンドルと出る消耗しているときpd.read_csvが自動的StopIterationを上げるためwhile forループ、またはエラー処理の必要は、ありません。