スカラを使用して1つの行を他のすべての行と比較する方法

Question

列に100K個の名前があります。私は彼らが同じかどうか（D'souza、D'souza）、またはほぼ同じ（D'souza、Dsouza）かどうかを確認するために、それぞれを比較する必要があります。

私はカサンドラテーブルをRDDに読み込み、列のデカルト積を作成してタプルを作成しました。しかし、列サイズが100Kであるため、これは巨大なRDDをもたらし、最終的にスパークジョブがぶら下がります。ここでの問題は、デカルト結果は理想的ではない100K *の100Kの順になるということです

val valueRdd = sc.cassandraTable("keyspace", "some_table") 
    val dataRDD = valueRdd 
    .map(row => { 
     (
     row 
      .getStringOption("name") 
      .get, 

    }).cache() 

    val cartesianResult = dataRDD cartesian dataRDD 
    //Followed by some compare logic. May be soundex or some other library or some fuzzy logic. 

：以下

は、私が持っているコードです。これを行うための良い方法はありますか？

問題文は、指定されたデータセット内の兄弟を識別することです。データセットには10​​0K +のデータが含まれます。

Answer 1

リストは、あなたが放送変数にリストを変換し、各ノードを持っている可能性が十分に小さいが、それは放送リストにRDDの一部です比較：

val valueRddBC =sc.broadcast(valueRdd.collect()) 
val similarPairsRdd = valueRdd.flatMap(x => 
    valueRddBc.value.filter(y => dist(x,y) > threshold) 
        .map(y => (x,y))) 

100kのは、あなたができることのに十分に小さいですあなたが望むならドライバの中のすべてのもの（dist関数が高価でないなら、これはもっと速くなるでしょう）。

RDDが本当に大きい場合、LSH（ローカルに機密性の高いハッシング）などの戦略を使用して、無関係なアイテムのほとんどを無視するためにアイテムをある種のフィンガープリントにマップできます。これは、最も近い項目を見つけるためにO（1）を与える近似最近傍アルゴリズムです。

Answer 2

あなたの比較機能は名前を比較するために何か複雑ですか？スペースやアポストロフィを削除するだけであれば、単純化されたバージョンのRDDにRDDを変換し、groupByを使用して同様の名前をグループ化することができます。例：

scala> val rdd = sc.parallelize(List("d'souza", "d souza", "Dsouza")) 
scala> rdd.map{ 
    |  case x => x.replaceAll(" ", "").replaceAll("'","").toLowerCase -> x 
    | }.groupByKey.collect 
res3: Array[(String, Iterable[String])] = Array((dsouza,CompactBuffer(d'souza, d souza, Dsouza)))