大規模なファイル内での操作と検索

Question

この質問には既に回答済みですが、このプロセスについて記述しているページが見つからない場合は、お詫び申し上げます。私がしようとしているのは、大きなファイル（New York Timesコーパス）を取り出し、split関数を使って単語のリストに変更し、その長いリストから特定の単語を検索することです。私はこのコード

words=open('nyt.txt') 
for line in words: 
    print (line) 

でファイルを印刷するのpythonを取得することができたが、私はその後、この関数に（）words.splitを使用できるようにしたいと思います。

はこれまでのところ、私は、これは動作しません（私はちょうどこの

words= ('A B. C D E F G A. B C D E F G A B C D E F G A B C D E F G') 

のように入力しますが、むしろコピーするよりも、括弧内NYTを貼り付ける小さなコーパスを使用してプログラムを開発してきましたファイルが大きすぎます）。私はむしろ変数名にファイルをソースしたいと思います。

また、これが以前に尋ねられ、以前に回答されていればごめんなさい。

Answer 1

と呼ばれるものがあります。あなたのケースでは、それは次のようになります。

def words(lines): 
    for line in lines: 
     for word in line.split(): 
      yield word 

これは、行毎にファイルを処理しますので、一度にファイル全体をメモリに読み込む必要はありません。 yieldキーワードは、関数の結果をジェネレータに変換します。使用法：

import sys 
for word in words(sys.stdin): 
    print word 

---

編集：私は正しくラウンドこの時間は、あなたを理解していれば、あなただけのリストにすべての単語を読みたいですか？簡単です：

lines = open('nyt.txt') 
words = [] 
for line in lines: 
    words.extend(line.split()) 
print words 

Answer 2

nltkをご覧ください。これは巨大なプロジェクトであり、コーパスを扱うツールを備えています。このプロジェクトはPythonで書かれており、http://www.nltk.org/にあります。

Answer 3

私はあなたが何を望んでいるのか分かりませんが、このようなものをお探しですか？

words = open('README') 
word_list = [] 
for l in words: 
    word_list.append(l) 

あなたは言葉でより洗練された何かをやっているつもりなら、あなたはNLTKパッケージをご覧ください。

Answer 4

生む

ターゲット単語がコーパスに

corpus = ('A B C A B C', 'A D') 
target = {'A':0, 'D':0} 
# also works for a file 
# for line in open('file.txt'): 
for line in corpus: 
    for word in line.split(): 
     if word in target: 
      target[word] += 1 
for (word, count) in target.iteritems(): 
    print 'word "' + word + '" occurs ' + str(count) + ' times' 

を発生する回数をカウントする

word "A" occurs 3 times 
word "D" occurs 1 times