Pythonでcsvファイルを効率よく読み込んで検証する

Question

私は複数のcsvファイル（< 10 G）を持っています。ファイルをメモリ効率のよい方法で1つずつ検証する必要があります。私の検証>は適切

2-区切りでファイルを

1- include>の整数/小数

、3-として、特定の列を検証>特定の日付フォーマット（例えば。YYYY/MM/DD）を検証します列。

現在、私は

with open(file_name, 'r') as myCSV: 
     CSVreader = csv.reader(myCSV) 
     for row in CSVreader: 
       my_logic 

を使用して、それぞれの行をループし、行ごとに条件を検証しています。利用可能なライブラリ/メソッドはありますか？私はパンダがメモリ効率が良いかどうかわからないことについて聞いたことがあります。

Answer 1

私はパンダを使用して永久に取ったいくつかの類似したループを持っていたし、このトリックを使って、かなりそれをスピードアップすることができました：

for row in dataframe: 
    some logic over row.col1, row.col2, etc... 

は次のようになります。

for (col1, col2, ...) in zip(dataframe.col1.values, dataframe.col2.values, ...): 
    some logic over col1, col2, etc... 

ない、それはどのようになることを確認64ビット版のPythonを使ってかなり大きなファイルを扱うことができました。