spark javaでIterable値として返すためにreduceByKeyとgroupByKeyを置き換える方法は？

Question

私はspark javaプログラムを持っています。ここでは、mapValuesステップを持つgroupByKeyが実行され、すべての入力rdd値のIterableという値を持つPairRDDが返されます。 groupByKeyの代わりにreduceByKeyをmapValuesに置き換えるとパフォーマンスが向上しますが、ここで問題にreduceByKeyを適用する方法はわかりません。

具体的には、タイプTuple5の値を持つ入力ペアRDDがあります。 groupByKeyとmapValuesの変換の後、値が入力値の反復可能である必要があるキーと値のペアRDDを取得する必要があります。

JavaPairRDD<Long,Tuple5<...>> inputRDD; 
... 
... 
... 
JavaPairRDD<Long, Iterable<Tuple5<...>>> groupedRDD = inputRDD 
    .groupByKey() 
    .mapValues(
      new Function<Iterable<Tuple5<...>>,Iterable<Tuple5<...>>>() { 

       @Override 
       public Iterable<Tuple5<...>> call(
         Iterable<Tuple5<...>> v1) 
         throws Exception { 

        /* 
        Some steps here..        
        */ 

        return mappedValue; 
       } 
      }); 

reduceByKeyを使用して上記の変換を行う方法はありますか？

Answer 1

私はSparkでScalaを使用していましたので、これはあなたが好むかもしれない正確な答えにはなりません。 groupByKey/mapValuesとreduceByKey間符号化の主な違いは、このarticleから適合簡単な例を用いて見ることができる。

val words = Array("one", "two", "two", "three", "three", "three") 
val wordPairsRDD = sc.parallelize(words).map(word => (word, 1)) 

val wordCountsWithGroup = wordPairsRDD. 
    groupByKey. 
    mapValues(_.sum) 
wordCountsWithGroup.collect 
res1: Array[(String, Int)] = Array((two,2), (one,1), (three,3)) 

val wordCountsWithReduce = wordPairsRDD. 
    reduceByKey(_ + _) 
wordCountsWithReduce.collect 
res2: Array[(String, Int)] = Array((two,2), (one,1), (three,3)) 

この例では、x => x.sum（すなわち_.sum）をmapValuesで使用される場合、それは(acc, x) => acc + xだろう（すなわち_ + _）reduceByKey。関数のシグネチャは大きく異なります。 mapValuesでは、グループ化された値のコレクションを処理していますが、reduceByKeyでは削減を行っています。