Scalaワードカウントjarがスパークで実行されていません

Question

ScalaとSparkの新機能です。 Scala IDEをEclipse Lunaに追加しました。私は日食でmavenプロジェクトを作成しました。私は構成オプションとして実行され、正常に出力を得ることができるように、Eclipse内でプログラムを実行することでした。しかし、次のプログラムのjarファイルを作成し、sparkシェルを実行しようとすると、次のエラーが発生します。瓶

spark-submit --class com.kirthi.spark.proj.sparkexamples.WordsCount --master local /home/cloudera/workspace/sparkwc1.jar hdfs://localhost:8020/kirthi3/dataset.txt hdfs://localhost:8020/kirthi3/sparkwco

私は私が最初のプログラムのために打たれていて親切に、この中で私を助け

package com.kirthi.spark.proj.sparkexamples 
import org.apache.spark.SparkConf 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 

object WordsCount { 
def main(args: Array[String]){ 

    val conf = new SparkConf() 
    .setAppName("Word Count") 
    .setMaster("local") 

    val sc = new SparkContext(conf) 

    val textFile = sc.textFile(args(0)) 

    val words = textFile.flatMap(line => line.split(",")) 

    val counts = words.map(word => (word,1)) 

    val wordcount = counts.reduceByKey(_+_) 

    val wordcount_sorted = wordcount.sortByKey() 

    wordcount_sorted.foreach(println) 

    wordcount_sorted.saveAsTextFile(args(1)) 
    } 

} 

をしようとしたワードカウントプログラムを実行するための

error: ';' expected but 'class' found.

コマンドの使用スパーク。コメントに示すように

私はClouderaのクイックスタートCDH 5.5

Answer 1

を使用しています、あなたはScalaのREPLで上記のコマンドを実行し、どのあなたは通常のLinuxシェルからそれを実行する必要があります。