（String、（String、Int））として設定されたタプルの値のキーにreduceByKeyを使用する方法は？

Question

私はテキストファイルのRDDをループし、ファイル内の各ユニークワードの集計を行い、それぞれのユニークワードに続くすべてのワードとそのカウントを累積しようとしています。これまでのところ、これは私が持っているものです。

// connecting to spark driver 
val conf = new SparkConf().setAppName("WordStats").setMaster("local") 
val spark = new SparkContext(conf) //Creates a new SparkContext object 

//Loads the specified file into an RDD 
val lines = sparkContext.textFile(System.getProperty("user.dir") + "/" + "basketball_words_only.txt") 

//Splits the file into individual words 
val words = lines.flatMap(line => { 

    val wordList = line.split(" ") 

    for {i <- 0 until wordList.length - 1} 

    yield (wordList(i), wordList(i + 1), 1) 

}) 

私はこれまで明らかにされていない場合、私は何をしようとしていることで、各単語に続く単語の集合を蓄積することですその単語が続く回数と一緒に、

Answer 1

私が正しくあなたを理解していれば、私たちはこのようなものがあります：

val lines: Seq[String] = ... 
val words: Seq[(String, String, Int)] = ... 

をそして、我々はこのような何かしたい：

val frequencies: Map[String, Seq[(String, Int)]] = { 
    words 
    .groupBy(_._1)      // word -> [(w, next, cc), ...] 
    .mapValues { values => 
     values 
     .map { case (w, n, cc) => (n, cc) } 
     .groupBy(_._1)     // next -> [(next, cc), ...] 
     .mapValues(_.reduce(_._2 + _._2)) // next -> sum 
     .toSeq 
    } 
}