Pandasでタブ区切りのファイルを読む - Windowsでは動作しますがMacでは動作しません

Question

WindowsではPandas/Pythonを使用してタブ区切りのデータファイルを問題なく読み込んでいます。データファイルには最初の3行にメモが含まれ、その後にヘッダーが続きます。

df = pd.read_csv(myfile,sep='\t',skiprows=(0,1,2),header=(0)) 

私はこのファイルを自分のMacで読み込もうとしています。 （MacでPythonを初めて使用したとき）次のエラーが表示されます。

pandas.parser.CParserError: Error tokenizing data. C error: Expected 1 
fields in line 8, saw 39 

虚偽にread_csvためerror_bad_lines引数を設定した場合、私は最後の行の終わりまで続く次の情報を、取得します。

Skipping line 8: expected 1 fields, saw 39 
Skipping line 9: expected 1 fields, saw 125 
Skipping line 10: expected 1 fields, saw 125 
Skipping line 11: expected 1 fields, saw 125 
Skipping line 12: expected 1 fields, saw 125 
Skipping line 13: expected 1 fields, saw 125 
Skipping line 14: expected 1 fields, saw 125 
Skipping line 15: expected 1 fields, saw 125 
Skipping line 16: expected 1 fields, saw 125 
Skipping line 17: expected 1 fields, saw 125 
... 

は私がエンコーディング引数の値を指定する必要がありますか？ Windowsでファイルを読むのがうまくいくので、私はしてはいけないはずです。

Answer 1

最大の手掛かりは、行がすべて1行で返されることです。これは、行ターミネータが無視されているか、存在していないことを示します。

csv_readerの行終端文字を指定できます。もしあなたがマックであれば、作成された行は、よりもよりも\rで終わるでしょう。それでもなお、ウィンドウのサスペンダーとベルトのアプローチは\r\nです。

pandas.read_csv(filename, sep='\t', lineterminator='\r') 

コーデックパッケージを使用してすべてのデータを開くこともできます。これにより、ドキュメントの読み込み速度を犠牲にして堅牢性が向上する可能性があります。

import codecs 

doc = codecs.open('document','rU','UTF-16') #open for reading with "universal" type set 

df = pandas.read_csv(doc, sep='\t')