invaildエスケープ文字でJSONの読み込みに失敗する

Question

外部サービスから大きなデータファイルを取得しています。各行はjsonオブジェクトです。しかし、それは（\のXeF、\ XA0、\ xa9）などのような複数の六角文字と（\ u2022）.Iは基本的に私はエンコーディングUTF-8を与えてみました

with open(filename,'r') as fh: 
    for line in fh: 
     attr = json.loads(line) 

のようなファイルを読んでいるようないくつかのUnicode文字が含まれていますopenメソッドにlatin-1を渡しますが、まだjsonのロードは失敗しています。無効な文字が削除された場合、読み込み中ですが、データを失うことはありません。これを修正するための推奨方法は何ですか？

のrepr（ライン）サンプル：

'{"product_type":"SHOES","recommended_browse_nodes":"361208011","item_name":["Citygate 960561 Ankle Boots Womens Gray Grau (anthrazit 9) Size: 8 (42 EU)"],"product_description":[],"brand_name":"Citygate","manufacturer":"J H P\\xf6lking GmbH & Co KG","bullet_point":[],"department_name":"Women\\u2019s","size_name":"42 EU","material_composition":["Leather"]}\n' 

json.loadsが無効\エスケープとITEM_NAMEに\ XF6に失敗している：行1列105（チャー104）。

Answer 1

正規表現を使用してJSON文字列を@Martijnと修正することができます。ここには冗長な例があります。

import re 
import json 

s = '{"product_type":"SHOES","recommended_browse_nodes":"361208011","item_name":["Citygate 960561 Ankle Boots Womens Gray Grau (anthrazit 9) Size: 8 (42 EU)"],"product_description":[],"brand_name":"Citygate","manufacturer":"J H P\\xf6lking GmbH & Co KG","bullet_point":[],"department_name":"Women\\u2019s","size_name":"42 EU","material_composition":["Leather"]}\n' 

xinvalid = re.compile(r'\\x([0-9a-fA-F]{2})') 

def fix_xinvalid(m): 
    return chr(int(m.group(1), 16)) 

def fix(s): 
    return xinvalid.sub(fix_xinvalid, s) 

print(json.loads(fix(s))) 

と出力：

{'recommended_browse_nodes': '361208011', 'bullet_point': [], 'product_description': [], 'brand_name': 'Citygate', 'size_name': '42 EU', 'material_composition': ['Leather'], 'product_type': 'SHOES', 'item_name': ['Citygate 960561 Ankle Boots Womens Gray Grau (anthrazit 9) Size: 8 (42 EU)'], 'department_name': 'Women’s', 'manufacturer': 'J H Pölking GmbH & Co KG'}