データからコーパスをカスタム形式で作成する

Question

NLTKで使用したいテキストを含む何百ものファイルがあります。各行はがないが新しい文を含んでいます

 
বে,বচা ইয়াণ্ঠা,র্চা ঢার্বিত তোখাটহ নতুন, অ প্রবঃাশিত। 
তবে ' এ বং মুশায়েরা ' পত্রিব্যায় প্রকাশিত তিনটি লেখাই বইযে 
সংব্যজান ব্যরার জনা বিশেষভাবে পরিবর্ধিত। পাচ দাপনিকেব 
ড:বন নিয়ে এই বই তৈরি বাবার পরিব্যল্পনাও ম্ভ্রাসুনতন 
সামন্তেরই। তার আর তার সহকারীদেব নিষ্ঠা ছাডা অল্প সময়ে 
এই বই প্রব্যাশিত হতে পারত না।,তাঁদের সকলকে আমাধ 
নমস্কার জানাই। 
বতাব্যাতা শ্রাবন্তা জ্জাণ্ণিক 
জানুয়ারি ২ ণ্ট ণ্ট ৮ 
Total characters: 378 

注：ここではそのようなファイルです。むしろ、センテンスターミネータは、英語のピリオドと同じですが、 '。'シンボル。

誰かが私のコーパスを作成するのを手伝ってもらえますか？変数MyDataにインポートすると、MyData.words（）とMyData.sents（）にアクセスする必要があります。また、最後の行はコーパスに表示されるべきではありません（単に文字カウントが含まれています）。

からすべてのデータを操作する必要があることに注意してください。ファイルは一度にです。

ありがとうございます！

Answer 1

ファイルを自分で入力するか、またはwordsとsentsメソッドを提供する必要はありません。 コーパスでPlaintextCorpusReaderと読んでください。 コーパスリーダーのコンストラクターは、ファイルのパスとファイル名パターン、および入力エンコードの引数を受け取ります（必ず指定してください）。

コンストラクタには、文および単語のトークン化関数のオプションの引数もあります。したがって、独自のメソッドを渡してテキストを文に分解できます。単語と文の検出が本当に単純である場合、すなわち| nltkのRegexpTokenizerファミリからトークン化機能を設定することもできますし、ゼロから独自に書き込むこともできます。 （あなた自身で書く前に、ドキュメントとコードを調べたり、どのような入力があったのかを知るためにスタブを書くなど）。 nltkのPunktSentenceTokenizerは、無制限の統計アルゴリズムを使用して、センテンスターミネータのどの用途が実際に文を終了するかを学習します。

コーパスリーダーの設定がかなり複雑な場合は、PlaintextCorpusReaderを専門とするクラスを作成すると便利です。しかし、多くの時間は必要ではありません。グーテンベルクコーパスがどのように実装されているかを見るには、NLTKコードを見てください。コンストラクタに適切な引数を持つのはちょうどPlainTextCorpusReaderインスタンスです。

Answer 2

1）最後の行を取り除くには、かなり簡単です。

f = open('corpus.txt', 'r') 
for l in f.readlines()[:-1]: 
    .... 

forループの[：-1]は、最後の行をスキップします。

2）ファイルオブジェクトの組み込みreadlines（）関数は、改行文字を区切り文字として使用してファイル内のコンテンツを改行します。だから、行をキャッシュするためのコードを書く必要があります。見える。 '|'キャッシュされた行を1つの単一の文として扱い、MyDataクラスに入れてください