KeyError例外： '\\ documentclass'

Question

私は次のPythonスクリプトを持っている：私は、スクリプトを実行しようとすると

import nltk 
from nltk.probability import FreqDist 
nltk.download('punkt') 

frequencies = {} 
book = open('book.txt') 
read_book = book.read() 
words = nltk.word_tokenize(read_book) 
frequencyDist = FreqDist(words) 

for w in words: 
    frequencies[w] = frequencies[w] + 1 

print (frequencies) 

、私は次を得る：

[nltk_data] Downloading package punkt to /home/abc/nltk_data... 
[nltk_data] Package punkt is already up-to-date! 
Traceback (most recent call last): 
    File "test.py", line 12, in <module> 
    frequencies[w] = frequencies[w] + 1 
KeyError: '\\documentclass' 

私が間違って何をしているのですか？そして、単語とそれがテキストファイルに出現する回数をどのようにして印刷することができますか？

book.txtは、hereからダウンロードできます。

Answer 1

frequencies辞書が空です。最初からキーエラーが発生します。

代わりにcollections.Counterを使用することをお勧めします。これは、発生をカウントすることを可能にする特殊な辞書（defaultdictのようなビット）です。

import nltk,collections 
from nltk.probability import FreqDist 
nltk.download('punkt') 

frequencies = collections.Counter() 
with open('book.txt') as book: 
    read_book = book.read() 
words = nltk.word_tokenize(read_book) 
frequencyDist = FreqDist(words) 

for w in words: 
    frequencies[w] += 1 

print (frequencies) 

編集：ntlkパッケージを使用せずにあなたの質問に答えます。私はちょうどnltkパッケージがちょうど文字列トークンだったと答えました。だから、より具体的に、車輪を再発明することなく、あなたのテキスト分析にさらに行くことを許可し、以下の様々なコメントのおかげで、あなただけのこの操作を行う必要がありますします

import nltk 
from nltk.probability import FreqDist 
nltk.download('punkt') 

with open('book.txt') as book: 
    read_book = book.read() 
words = nltk.word_tokenize(read_book) 
frequencyDist = FreqDist(words) # no need for the loop, does the count job 

print (frequencyDist) 

あなたが（私のテキストで）得られます：そう

<FreqDist with 142 samples and 476 outcomes> 

ない単語と辞書=>直接要素の数が、この情報+もっと多くのベアリングより複雑なオブジェクト：

• frequencyDist.items()は：あなたが得る言葉=> COU NT（およびすべての古典的なdictの方法）
• frequencyDist.most_common(50)
• frequencyDist['the']が"the"
• の出現回数を返します50最も一般的な単語を印刷し...

が