sparkタイプが一致しません：JavaRDD <Object>からJavaRDDに変換できません<String>

Question

Java実装にPysparkアプリケーションを書き始めました。私はJava 8を使用しています。私はちょうどjavaで基本的なspark progrmaのいくつかを実行し始めました。私は以下の例を使用しましたwordcount例。私はGoogleで検索すると、私はlines.flatMap(line -> Arrays.asList(line.split(" "))) でType mismatch: cannot convert from JavaRDD<Object> to JavaRDD<String>エラーを取得しています

SparkConf conf = new SparkConf().setMaster("local").setAppName("Work Count App"); 

// Create a Java version of the Spark Context from the configuration 
JavaSparkContext sc = new JavaSparkContext(conf); 

JavaRDD<String> lines = sc.textFile(filename); 

JavaPairRDD<String, Integer> counts = lines.flatMap(line -> Arrays.asList(line.split(" "))) 
        .mapToPair(word -> new Tuple2(word, 1)) 
        .reduceByKey((x, y) -> (Integer) x + (Integer) y) 
        .sortByKey(); 

、すべてのJavaベースの8スパークの例では、私は同じ上記implementation.Whatが私のenvironemntまたはプログラムに間違っていた見ました。

誰かが私を助けることができますか？

Answer 1

このコードを使用してみてください。あなたのコードがList<String>を作成している間、実際の問題はrdd.flatMap関数はIterator<String>を想定しています。 iterator（）を呼び出すと問題が解決されます。

JavaPairRDD<String, Integer> counts = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator()) 
      .mapToPair(word -> new Tuple2<String, Integer>(word, 1)) 
      .reduceByKey((x, y) -> x + y) 
      .sortByKey(); 

counts.foreach(data -> { 
     System.out.println(data._1()+"-"+data._2()); 
    }); 

Answer 2

は、このコード

JavaRDD<String> words = 
    lines.flatMap(line -> Arrays.asList(line.split(" "))); 
JavaPairRDD<String, Integer> counts = 
    words.mapToPair(w -> new Tuple2<String, Integer>(w, 1)) 
     .reduceByKey((x, y) -> x + y); 

Answer 3

JavaRDD<String> obj = jsc.textFile("<Text File Path>"); 
JavaRDD<String> obj1 = obj.flatMap(l->{ 
ArrayList<String> al = new ArrayList(); 
String[] str = l.split(" "); 
for(int i=0;i<str/length;i++) { 
    al.add(str[i]); 
} 
return al.iterator(); 
});