Pythonでの外部シンボルの操作

Question

PythonでJSONフィードを解析していて、この文字が含まれているため検証できません。

これらのシンボルを処理する方法はありますか？彼らは改宗することができますか、それらを取り除くためにきれいな方法ですか？

私はこのシンボルが何で呼ばれているのか、何が原因であるのか分からず、そうでないと自分でそれを研究します。

EDIT：Stackoverフローので、ここで文字をストリッピングされています http://files.getdropbox.com/u/194177/symbol.jpg

それはおそらくあなたが持っているテキストは、エンコーディングのいくつかの並べ替えであることを意味し、「クラシック80年代」

Answer 1

でそのシンボルです[？]どのエンコーディングを理解し、thetext.decode（ 'encoding'）呼び出しでUnicodeに変換する必要があります。

わかりませんが、表示されているディスプレイには[？]文字が含まれている可能性があります。表示する方法もわかりません。これはおそらくあなたが持っているデータが間違っていること、そしてあなたが使用するはずのエンコーディングに存在しない文字がそこにあることを意味します。これを処理するには、thetext.decode（ 'encoding'、 'ignore'）のようにデコードを呼び出します。 ignore以外にも、 "replace"、 "xmlcharrefreplace"などのオプションがあります。

Answer 2

JSONは、UTF-8、UTF-16、またはUTF-32のいずれかでエンコードする必要があります。 JSONファイルに現在のエンコーディングで違法なバイトが含まれていると、それはガベージです。

使用しているエンコードがわからない場合は、エンコード検出機能を含むjsonlibライブラリを使用して解析できます。 jsonlibを使用して解析されたJSONは、Unicode文字列としてプログラマーに提供されるため、エンコードについてまったく心配する必要はありません。