値を操作してJavaPairRDDを変換する（Sum）Spark

Question

Javaを使用してapache sparkを操作する。 JavaPairRDD RDD1を取得しました.RDD1の値の合計を作成して、別のJavaPairRdd RDD2を作成したいとします。しかし、次のコードを実行すると、エラーメッセージなしでtest_3変換がブロックされます。私はそれが別の変換の中でrdd変換またはアクションを実行する問題に関連していると思います。

JavaPairRDD<Key, JavaPairRDD<Integer, Double>> test_2 = test_1.mapToPair(new PairFunction<Tuple2<Key, JavaPairRDD<Integer, Double>>, Key, JavaPairRDD<Integer, Double>>() { 
     @Override 
     public Tuple2<Key, JavaPairRDD<Integer, Double>> call(Tuple2<Key, JavaPairRDD<Integer, Double>> t) throws Exception { 
      return new Tuple2(t._1,t._2.reduceByKey((Double val1, Double val2) 
        -> Math.pow(Math.abs(val1 - val2), 2))); 
     } 
    }); 
    JavaPairRDD<Key, JavaPairRDD<Integer, Double>> test_3 = test_2.mapToPair 
    (new PairFunction<Tuple2<Key, JavaPairRDD<Integer, Double>>, Key, JavaPairRDD<Integer, Double>>() { 
     @Override 
     public Tuple2<Key, JavaPairRDD<Integer, Double>> call(Tuple2<Key, JavaPairRDD<Integer, Double>> t) 
       throws Exception { 
      return new Tuple2(t._1,t._2.values().reduce((Double t1, Double t2) -> t1+t2)); 
    }}); 
    JavaPairRDD<Key, Double> test_4= test_3.mapToPair 
    (new PairFunction<Tuple2<Key, JavaPairRDD<Integer, Double>>, Key, Double>() { 
     @Override 
     public Tuple2<Key, Double> call(Tuple2<Key, JavaPairRDD<Integer, Double>> t) throws Exception { 
       return new Tuple2(t._1,t._2.values().first()); 
     } 
    }); 

Answer 1

あなたの問題はtest_3より前に開始されます。あなたはRDDとして値を持つことはできません。 JavaPairRDD<Key, JavaPairRDD<Integer, Double>>おそらくtuple2（Integer、Double）のリストを返そうとするかもしれません。このようなもの：JavaPairRDD<Key, List<Tuple2<Integer, Double>>>