読む私は私がパンダに読み込むCSVファイルを持っているすべてが、CSVファイルの最後の行パンダ

Question

中：

#!/usr/bin/env python 

import pandas as pd 
import sys 

filename = sys.argv[1] 
df = pd.read_csv(filename) 

残念ながら、これらのファイルの最後の行は、多くの場合、破損している（カンマの間違った番号を持っています）。現在、各ファイルをテキストエディタで開き、最後の行を削除します。

この特別な非自動化されたステップを踏まなければならないのを防ぐために、CSVをロードする同じpython/pandasスクリプトの最後の行を削除することはできますか？

Answer 1

パスerror_bad_lines=False、それはerror_bad_linesの利点は、それが誤ったライン上のBORKスキップしませんですが、最後の行が常にある場合ダフが、その後skipfooter=1

優れて自動的

df = pd.read_csv(filename, error_bad_lines=False) 

をこの行をスキップします

@DexterMorganのおかげで、skipfooterオプションは、csvを解析するためにcエンジンよりも遅いpythonエンジンを使用するようエンジンに強制します。

Answer 2

http://pandas.pydata.org/pandas-docs/version/0.16.2/generated/pandas.read_csv.htmlを読んでください。ここで 'skipfooter'引数を使用すると、.csvファイルから最後まで読みたくない行を指定することができます。それはあなたを助けるかもしれません。