逆の文書インデックスを作成しようとしているので、文書が出現するコレクション内のすべてのユニークな単語とその頻度を知る必要があります。Python:ネストされた辞書のキー値ペアの値を更新するにはどうすればよいですか?
私はthis答えをネストされた辞書を作成するために使用しました。提供されたソリューションはうまく動作しますが、1つの問題があります。
まず、ファイルを開いてユニークな単語のリストを作成します。これらのユニークな言葉は元のファイルと比較したいものです。一致がある場合、周波数カウンタを更新し、その値を2次元配列に格納する必要があります。
出力は、最終的には次のようになります。
word1, {doc1 : freq}, {doc2 : freq} <br>
word2, {doc1 : freq}, {doc2 : freq}, {doc3:freq}
etc....
問題は、私は辞書変数を更新することができないということです。そうしようとしたとき、私はエラーを取得:
File "scriptV3.py", line 45, in main
freq = dictionary[keyword][filename] + 1
TypeError: unsupported operand type(s) for +: 'AutoVivification' and 'int'
私が行くことをどのように
....私はintに何らかの方法でAutoVivificationのインスタンスをキャストする必要があると思いますか?事前に
おかげ
私のコードは:私は推測正しい使い方ではありません
#!/usr/bin/env python
# encoding: utf-8
import sys
import os
import re
import glob
import string
import sets
class AutoVivification(dict):
"""Implementation of perl's autovivification feature."""
def __getitem__(self, item):
try:
return dict.__getitem__(self, item)
except KeyError:
value = self[item] = type(self)()
return value
def main():
pad = 'temp/'
dictionary = AutoVivification()
docID = 0
for files in glob.glob(os.path.join(pad, '*.html')): #for all files in specified folder:
docID = docID + 1
filename = "doc_"+str(docID)
text = open(files, 'r').read() #returns content of file as string
text = extract(text, '<pre>', '</pre>') #call extract function to extract text from within <pre> tags
text = text.lower() #all words to lowercase
exclude = set(string.punctuation) #sets list of all punctuation characters
text = ''.join(char for char in text if char not in exclude) # use created exclude list to remove characters from files
text = text.split() #creates list (array) from string
uniques = set(text) #make list unique (is dat handig? we moeten nog tellen)
for keyword in uniques: #For every unique word do
for word in text: #for every word in doc:
if (word == keyword and dictionary[keyword][filename] is not None): #if there is an occurence of keyword increment counter
freq = dictionary[keyword][filename] #here we fail, cannot cast object instance to integer.
freq = dictionary[keyword][filename] + 1
print(keyword,dictionary[keyword])
else:
dictionary[word][filename] = 1
#extract text between substring 1 and 2
def extract(text, sub1, sub2):
return text.split(sub1, 1)[-1].split(sub2, 1)[0]
if __name__ == '__main__':
main()
[OK]をthatsの本当の、autovivicationクラスがなくなって、代わりにdefaultdictのために行ってきました、良さそうです – Jorrit