不正なCSVを解析する

Question

私はクリーンアップする必要のある「悪い」タブ区切りファイルを持っています。問題は、フィールドに改行がある可能性があるという点にあります。私はこれを修正する最も簡単な方法は、間違った改行をある種の置換文字、例えばスペースで置き換えることだと思います。今そこには、ライン上のnフィールドことになっている場合、私は次のようになり、これを行う方法を想像することができます（擬似コード）

var line = read n-1 fields ending in a tab, and then until the end of line 
line.replace("\n", " ") 
line.replace("\r", " ") 
write line to output 

は今、これらのファイルは巨大であり、それをズルズルすることはオプションではありません。これは合理的なアプローチですか？ （私はこれが最後のフィールドで改行を越えて移動することを知っていますが、私はそれと一緒に暮らしています） 十分なデータを読むにはどうすればよいでしょうか？私はどの言語に関わらず気にしませんが、利用可能なランタイムを持っているので、.net、perl、またはpython2を好む。

Answer 1

あなたは本当に速いawkスクリプトでこれを行うことができます。

awk -F\t '{while(NF < (numberoffields) { line=$0; getline; $0 = line $0;} print}' 

Answer 2

これは適切なフォーラムであるかどうかはわかりませんが、TextWrangler（Mac OSXの場合）などのテキストエディタプログラムが必要です。これは大規模なデータセットを扱うことができ、かなり洗練された検索と置き換えを行うことができます。

PCと同等のプログラムが必要です。

CSVファイルは基本的に1日の終わりのテキストファイルなので、ロバートの問題を解決するために必要なものです。

Answer 3

A Pythonのソリューション：

csv_filename = 'foo.csv' 
new_csv_filename = 'foo.fixed.csv' 
num_fields = 10 

with open(csv_filename, 'rU') as reader and open(new_csv_filename, 'w') as writer: 
    while True: 
     line = '' 
     while len(line.split('\t')) < num_fields: 
      line += reader.readline().replace('\n', ' ') 
     writer.write(line + '\n') # Or '\r\n' if you prefer 

私は、ファイルの交換を自動化しません。元のままにしておいてください。