Pythonクリーニングデータ

Question

大きなテキストファイルから不要な文字を削除しようとしています（約3GB）。私は不要なフォワードとバックスラッシュをファイル全体で削除しようとしています。私は単語の間にチルダを保持したい、区切り文字として機能します。ファイルは次のように書式設定されています。私はすべての戻る/進むを削除したいと思う上の例ではそう

Cornet~Chris Tyle 
Cornet\~Warren Vache 
Cornet~Roger Webster 
Cornet~\Grimethorpe Coll//iery Band 
Cornet/~Daniel Rollston 
Cornet~Murley Silver Band 
Chocolate~Chocolate liquor 
Chocolate~Theobroma cacao 
Chocolate~Meso/america 

（チルダを維持しながら）単語が読めるようにスラッシュ。私はこれにPython Regex式を使用しますか？別の方法としては、スラッシュを含む行を削除するだけですが、最後の手段として残したいと思います。

**編集：申し訳ありませんが、1つのことを言いました！ラインの一部は次のように表示されます。

Chocolate~ 
Chocolate~Theobroma cacao 
     ~Mesoamerica 

私も**前後スラッシュを除去することに加えて、チルダの前または後に、あなたのための

感謝をNULLであるすべての行を削除する必要があります助けて！

Answer 1

これは本当に簡単なことでしょうか？ （私はfor line in fが発電機であると信じています。いずれかの方法は、それは、一度に1つの行を読み込み）

は

with open(filename, "r") as f: 
    for line in f: 
     line = line.replace("/", "") 
     line = line.replace("\\", "") 

UPDATE（OPも「の前またはチルダ後のどちらかはnullであるすべての行を削除したいです「）

これは、チルダは、ホワイトスペースが先行する行をスキップし、残りの部分で前方に置き換えると、バックスラッシュます：

import re 

pattern = re.compile(r'\s+~') 

with open(filename, "r") as f: 
    for line in f: 
     if not pattern.match(line): 
      line = line.replace("/", "") 
      line = line.replace("\\", "") 
      print line 

NB：何であればよ本当に必要なのは、すべての行を "word + tilde + word"の形式で保持し、スラッシュを削除し、他のものをすべて破棄して、理解しやすくするということです。

Answer 2

簡単に、str.replace()を使用してください。

注ダブル\\

は、それは二重のバックスラッシュを交換していないのではなく1つのバックスラッシュは他の

コードエスケープされています

​​

出力：

['Cornet~Chris Tyle', 'Cornet~Warren Vache', 'Cornet~Roger Webster', 'Cornet~Grimethorpe Colliery Band', 'Cornet~Daniel Rollston', 'Cornet~Murley Silver Band', 'Chocolate~Chocolate liquor', 'Chocolate~Theobroma cacao', 'Chocolate~Mesoamerica'] 

Answer 3

をTr Y：

import re 

rx = re.compile(ur'[/\\]+', re.MULTILINE) 

inFile = "input.txt" 
outFile = "output.txt" 

with open(inFile, 'r') as f_in: 
    with open(outFile,'w') as f_out: 
     for line in f_in: 
      cleanLine = re.sub(rx, '', line).strip() 
      if cleanLine.startswith('~') or cleanLine.endswith('~'): 
       continue 
      f_out.write(cleanLine + '\n') 

このコードは、入力ファイルから開始またはチルダ~で終わる\ /や線を除去し、清浄化出力ファイルを書き込んでいます。

入力テキストに基づいて、それはPythonは、このためのやり過ぎである

Cornet~Chris Tyle 
Cornet~Warren Vache 
Cornet~Roger Webster 
Cornet~Grimethorpe Colliery Band 
Cornet~Daniel Rollston 
Cornet~Murley Silver Band 
Chocolate~Chocolate liquor 
Chocolate~Theobroma cacao 
Chocolate~Mesoamerica 
Chocolate~Theobroma cacao