reduceByKeyは、私は単にドキュメントからワードカウントを取得するコードがある

Question

こんにちはメンバーではありません。また、出力を生成する前にマップを使用してデータ値をルックアップする必要があります。ここにコードがあります。

requests 
    .filter(_.description.exists(_.length > 0)) 
    .flatMap { case request => 
     broadcastDataMap.value.get(request.requestId).map { 
     data => 
      val text = Seq(
      data.name, 
      data.taxonym, 
      data.pluralTaxonym, 
      request.description.get 
     ).mkString(" ") 
      getWordCountsInDocument(text).map { case (word, count) => 
      (word, Map(request.requestId -> count)) 
      } 
     } 
    } 
    .reduceByKey(mergeMap) 

エラーメッセージが

reduceByKey is not a member of org.apache.spark.rdd.RDD[scala.collection.immutable.Map[String,scala.collection.immutable.Map[Int,Int]]] 

どのように私はこの問題を解決することができますか？私はgetWordCountsInDocumentを呼び出す必要があります。ありがとう！

Answer 1

reduceByKeyは、基本的にはフォームRDD[(K, V)]でRDDSに暗黙的に追加される、PairRDDFunctionsのメンバーです。おそらく構造体を平らにしてRDD[String, Map[Int,Int]]にする必要があります。

入力の種類（requests、broadcastDataMap、mergeMap）を入力できる場合は、その変換に関するヘルプを提供することができます。提供タイプ、およびgetWordCountsInDocumentの戻り値の型は、いくつかのコレクションであるという仮定から

[（ワード、カウント：int）を]

を変更する：

broadcastDataMap.value.get(request.requestId).map { 

broadcastDataMap.value.get(request.requestId).flatMap { 

に

で問題を修正する必要があります。