スカラーでn-gramを生成するには？

Question

私はスカラーのnグラムに基づいて解離したプレスアルゴリズムをコーディングしようとしています。 大きなファイルのためにnグラムを生成する方法： たとえば、 "蜂はミツバチの蜂"を含むファイルのために。

1. まず、ランダムなnグラムを選択する必要があります。たとえば、ハチ。
2. 次に、（n-1）ワードで始まるnグラムを探す必要があります。たとえば、の蜂。
3. このnグラムの最後の単語を出力します。その後、繰り返します。

どうすればいいですか？ ご迷惑をおかけして申し訳ございません。

Answer 1

あなたの質問はもう少し具体的かもしれませんが、ここで私の試しです。

val words = "the bee is the bee of the bees" 
words.split(' ').sliding(2).foreach(p => println(p.mkString)) 

Answer 2

あなたがここにn個のパラメータ

val words = "the bee is the bee of the bees" 
val w = words.split(" ") 

val n = 4 
val ngrams = (for(i <- 1 to n) yield w.sliding(i).map(p => p.toList)).flatMap(x => x) 
ngrams foreach println 

List(the) 
List(bee) 
List(is) 
List(the) 
List(bee) 
List(of) 
List(the) 
List(bees) 
List(the, bee) 
List(bee, is) 
List(is, the) 
List(the, bee) 
List(bee, of) 
List(of, the) 
List(the, bees) 
List(the, bee, is) 
List(bee, is, the) 
List(is, the, bee) 
List(the, bee, of) 
List(bee, of, the) 
List(of, the, bees) 
List(the, bee, is, the) 
List(bee, is, the, bee) 
List(is, the, bee, of) 
List(the, bee, of, the) 
List(bee, of, the, bees) 

Answer 3

でこれを試すことは、ストリームベースのアプローチです。これは、nグラムを計算する際にあまりに多くのメモリを必要としません。

object ngramstream extends App { 

    def process(st: Stream[Array[String]])(f: Array[String] => Unit): Stream[Array[String]] = st match { 
    case x #:: xs => { 
     f(x) 
     process(xs)(f) 
    } 
    case _ => Stream[Array[String]]() 
    } 

    def ngrams(n: Int, words: Array[String]) = { 
    // exclude 1-grams 
    (2 to n).map { i => words.sliding(i).toStream } 
     .foldLeft(Stream[Array[String]]()) { 
     (a, b) => a #::: b 
     } 
    } 

    val words = "the bee is the bee of the bees" 
    val n = 4 
    val ngrams2 = ngrams(n, words.split(" ")) 

    process(ngrams2) { x => 
    println(x.toList) 
    } 

} 

OUTPUT：

List(the, bee) 
List(bee, is) 
List(is, the) 
List(the, bee) 
List(bee, of) 
List(of, the) 
List(the, bees) 
List(the, bee, is) 
List(bee, is, the) 
List(is, the, bee) 
List(the, bee, of) 
List(bee, of, the) 
List(of, the, bees) 
List(the, bee, is, the) 
List(bee, is, the, bee) 
List(is, the, bee, of) 
List(the, bee, of, the) 
List(bee, of, the, bees)