ファイルに書き込む前の一意の文字列 - python

Question

なぜこれが機能しないのですか？私は、ファイルに書き込む前に、私はのREST APIから取得した結果ユニークにしたい -

MISP_HOST="https://192.168.1.8" 
API_KEY="asdfasdfas" 
EXPORT_DATA="attributes/text/download/md5" 
OUTPUT_FILE="md5-"+today 

def main(): 
    URL="%s/%s" % (MISP_HOST, EXPORT_DATA) 
    request = urllib2.Request(URL) 
    f = open(OUTPUT_FILE,'w') 
    request.add_header('Authorization', API_KEY) 
    data = urllib2.urlopen(request).read() 
    set(data) 
    print type(data) 
    f.write(data) 
    f.close() 

それはエラーなしで動作しますが、データは間違いなくユニークではありません。私はbashでこれをしないようにしています。どうしてそれがうまくいかない理由を説明できますか？どうもありがとう！！！

Answer 1

結果がプレーンテキストの場合は、正規表現を使用してテキスト内のすべての単語を検索し、そこからセットを作成できます。この例では、単語が大文字小文字を区別せず、各単語をそれぞれの行に書き込むように単語を小文字にしています。

import re 

MISP_HOST="https://192.168.1.8" 
API_KEY="asdfasdfas" 
EXPORT_DATA="attributes/text/download/md5" 
OUTPUT_FILE="md5-"+today 
def main(): 
    URL="%s/%s" % (MISP_HOST, EXPORT_DATA) 
    request = urllib2.Request(URL) 
    f = open(OUTPUT_FILE,'w') 
    request.add_header('Authorization', API_KEY) 
    data = urllib2.urlopen(request).read() 
    unique = set(word.lower() for word in re.findall(r'\w+', data)) 
    # that could be expanded to 
    # wordlist = re.findall(r'\w+', data) 
    # unique = set(word.lower() for word in wordlist) 
    print type(unique) 
    f.write('\n'.join(unique)) 
    f.close()