corpusSourceオブジェクトからコーパスを作成していないquanteda

Question

私は32ビットの制限のために3Gbしかアクセスできない4GbのRAMを備えた32ビットオペレーティングシステムでWindows 7を使用しています。私はそれ以外のものをすべてシャットダウンし、私は約1Gbをキャッシュし、1Gbを使用可能にしていることがわかります。

quantedaの使用 - 私は、157MbのcorpusSourceオブジェクトを正常に作成するtextfile（）コマンドを使用してtwitter.txtファイルを読んでいます。私はcorpus（）コマンドを使って "corpus"に変換するために次のステップを踏むと、Rはそれを爆破し、4つの要素すべてに0の.....を含む非常に小さな空のファイルを作成します。コードと出力は次のようになります：

twitterfile <- "./final/en_US/en_US.twitter.txt" 

precorp <- textfile(twitterfile) 
corp <- corpus(twitterprecorp) 
summary(corp) 

Corpus consisting of 1 document. 

       Text Types Tokens Sentences 
en_US.twitter.txt  0  0   0 

Source: C:/R_Data/Capstone/* on x86 by xxxxx 
Created: Thu Aug 18 06:32:01 2016 
Notes: 

Warning message: 
In nsentence.character(object, ...) : 
    nsentence() does not correctly count sentences in all lower-cased text 

...これがなぜ起こっているのかについての洞察はありますか？

Answer 1

textfile() 

は、ファイル全体に1つの要素を含む文字ベクトルを与えています。これはあなたのファイル内の各行の要素を持つ文字ベクトルを与える

precorp <- readlines(twitterfile) 

：あなたは、おそらくのように

readlines() 

を使用します。 corpus（）は、コーパスを作成するときに、ベクトルの各要素をドキュメントとして扱います。