フィルタを満たす値のインデックスを取得するにはどうすればよいですか？スパークで

Question

は、私は次のようにそのRDDの各要素がフィルタの基準を満たす新しい1 1 STを作成するために、RDDにフィルタを適用することができます

JavaRDD<Integer> vals = sc.parallelize(Arrays.asList(10, 15, 0, 6, 2)); 
    JavaRDD<Integer> valsGreaterThan5 = vals.filter(new Function<Integer, Boolean>() { 
     public Boolean call(Integer x) { 
      if (x > 5) 
       return true; 
      else 
       return false; 
     } 
    }); 

ので、このコードは私に新しいRDDが返されますが含まれています10、15、6です。インデックスを取得するにはどうすればいいですか？だからではなく10、15と6の、私は0、1ですそのインデックスは、欲しい3.

Answer 1

あなたは値によってフィルタリングすることができますよりもので、ペア<index, value>からRDDを作成し、マップすることができますペアからインデックスへ

UPD：このような 何か（それはコンパイルする場合、私が保証することはできませんので、私の近くにスパークを持っていない）：

 JavaPairRDD<Integer> vals = sc.parallelize(Arrays.asList(
     new Tuple2(0, 10), 
     new Tuple2(1, 15), 
     new Tuple2(2, 0), 
     new Tuple2(3, 6), 
     new Tuple2(4, 2))); 
    JavaRDD<Integer> valsGreaterThan5 = vals.filter(new Function<Tuple2<Integer, Integer>, Boolean>() { 
     public Boolean call(Tuple2<Integer, Integer> x) { 
      return (x._2 > 5); 
     } 
    }).map(new Function<Tuple2<Integer, Integer>, Integer>() { 
     public Boolean call(Tuple2<Integer, Integer> x) { 
      return x._1; 
     } 
    }); 

私はあなたHAVAは、アイデアを得たいと考えています。また、lambdaを使ってコードをもっとよく見せることができます。

UPD2：ラムダ・ロジック・ブロックと できたように見えます：

JavaRDD<Integer> valsGreaterThan5 = vals 
    .filter((x) -> x._2 > 5) 
    .map((x) -> x._1);