UTF8、Unicodeとバイナリのデータ読み込みの問題

Question

私はファイルを読み込んでいくつかの文字列を抽出してインデックスを作成するスクリプトで作業しています。ファイルのエンコーディングに関する1つの問題を除いて、すべてうまくいっています。

私は再開しようとします：ファイルからのデータの

マイスクリプト読んチャンクを、これらのチャンクを変換小文字や特殊文字を置き換える削除するために正規化する（A、E、A、C、など）unicodedata.normalizeを使用して：

unicodedata.normalize("NFKD",chunk.decode("utf8","ignore")).encode("ascii","ignore").lower() 

この場合、文字列 "Olá、como vaivocê？Vamoscaçar？" "Ola、como vai voce？Vamos cacar？"という結果になります。 UTF8でエンコードされたテキストファイルは正常に動作していますが、バイナリファイル（MS .docファイルなど）から文字列を取得しようとすると失敗します。上記と同じコードを使用すると、文字列「Ol、como vai voc？Vamos caar？」が返されます。

私はunicode-escapeを使用してMS .docファイルを処理することができました（ただし、UTF8ファイルでは失敗します）。

20時間以上の研究の後、私はどちらの場合でもスクリプトを実行するソリューションがまだありません。

不幸にも、私は外部モジュールを使用できません。

Answer 1

スクリプトをパラメータ化する必要があります。エンコーディングは、それを呼び出す引数として指定する必要があります。あなたは既に引数としてファイル名を指定した場合、それは次のようになります。

$ python your_script.py input-file.txt utf8 

このような引数を読む：

input_file, encoding = sys.argv[1:] 

その後にエンコーディング・マングリングの行を変更します。

unicodedata.normalize("NFKD", chunk.decode(encoding, "ignore")).encode("ascii", "ignore").lower() 

他の方法でエンコーディングを推測する方法があるかもしれません（たとえば、ある種類のすべてのファイルが ".doc"で終わる場合）、コマンドライン引数をスキップできます。