JSONDecodeError：予期しないUTF-8 BOM：bashの問題を表示しますか？

Question

Python 3を使用して、.jsonlドキュメントのテキストを分析したいと考えています。 json.decoder.JSONDecodeError：予期しないUTF-8 BOM（utf-8-sigを使用してデコード）：エラーメッセージが表示されるアラビア語のテキストファイルの場合、テキストが英語であれば動作しています。 （コードを参照）に.decode（utf-8-sig）を追加してデコードする必要があると考えました。私もそれがbashので行うにかなっを有している場合には、〜/ .bashrcの中でUTF8にLANGの設定を変更する「str」はオブジェクトが属性「デコード」を持っていない

： はAttributeError：そう、次のエラーメッセージが生じました端末は文字を正しく表示できませんが、同じエラーが表示されます。

ここにコードと事前に感謝！

import sys 
from collections import Counter 
import json 

def get_hashtags(tweet): 
    entities = tweet.get('entities', {}) 
    hashtags = entities.get('hashtags', []) 
    return [tag['text'].lower() for tag in hashtags] 


if __name__ == '__main__': 
    fname = sys.argv[1] 
    with open(fname, 'r') as f: 
    hashtags = Counter() 
    for line in f: 
     tweet = json.loads(line.decode('utf-8-sig')) 
     hashtags_in_tweet = get_hashtags(tweet) 
     hashtags.update(hashtags_in_tweet) 
    for tag, count in hashtags.most_common(20): 
     print("{}: {}".format(tag, count)) 

Answer 1

あなたは、Python 2とPython 3の両方に（encodingパラメータを経由して）その場でデコードをサポートしていio.openを、使用することができます（実際には、Pythonの3では、io.openはデフォルトopenです）：

import io 

with io.open(fname, 'r', encoding='utf-8-sig') as f: 
    # ... 
    for line in f: 
     tweet = json.loads(line) 
     # ...