Scalaでテキスト入力をカウントして合計で並べ替える方法

Question

Spark/Scalaの学習を始めました。

私はそれぞれの総発生によってソートされた語数 1を取得しようとしました：

は、私は、これは一般的な質問であることを理解し、最も可能性の高いどこかに既に回答されていますが、うまくいけば私の次の練習に誰かの助けを得ることができますここ

val file = sc.textFile("hdfs://localhost:9000/Peter") 
val counts = file.flatMap(line => line.split(" ")) 
.map(word =>(word, 1)) 
.reduceByKey(_+_) 
.sortByKey(true, 1) 

結果の一部である：アルファベット順ここ

ワード自体でソートDESC 2のワードは、コードされ

私の質問：

1. これは正しい結果ですか？それをどのように確認するのですか？それは私に正しい結果のようには見えません。たとえば、なぜ最初のものが「1」なのか、私はおそらく、「an」、「of」、「the」のような言葉が上にあるべきだと思います。彼ら？アルファベット順に結果で、私は単語の後、各単語の合計数（DESC）を含める

3. 私も言葉で別のソート結果を見たい

ことができます誰も私を助けてください？どうもありがとうございました。

Answer 1

あなたのコードのsortByKeyは、昇順の単語です。だからこそ、1はトップです。最も一般的な単語 valのファイルを取得するために

= sc.textFile（ "peter.txt"）

val counts = file.flatMap(line => line.split(" ")) 
    .map(word =>(word, 1)) 
    .reduceByKey(_+_) 

// from word -> num to num -> word 
// then sortBy num of occurrence in descending order 
val mostCommon = counts.map(p => (p._2, p._1)).sortByKey(false, 1) 
mostCommon.take(5) 

Array((263,the), (182,of), (119,and), (91,that), (80,in))