スカラ・フラットニングリストの埋め込みリスト

Question

ハッシュタグ、作成者、および以下の形式のユーザーを表示しているTwitterデータストリームを作成しました。

(List(timetofly, hellocake),Shera_Eyra,List(blxcknicotine, kimtheskimm))

ため、私は組み込みリストのこの形式の分析を行うことはできません。この形式でデータを表示する別のデータストリームを作成するにはどうすればよいですか？ここで

timetofly, Shera_Eyra, blxcknicotine timetofly, Shera_Eyra, kimtheskimm hellocake, Shera_Eyra, blxcknicotine hellocake, Shera_Eyra, kimtheskimm

データを生成するために私のコードです：

私はこのために理解するために使用します

val sparkConf = new SparkConf().setAppName("TwitterPopularTags") 
val ssc = new StreamingContext(sparkConf, Seconds(sampleInterval)) 
val stream = TwitterUtils.createStream(ssc, None) 
val data = stream.map {line => 
     (line.getHashtagEntities.map(_.getText), 
     line.getUser().getScreenName(), 
     line.getUserMentionEntities.map(_.getScreenName).toList) 
    } 

Answer 1

：

val data = (List("timetofly", "hellocake"), "Shera_Eyra", List("blxcknicotine", "kimtheskimm")) 

    val result = for { 
    hashtag <- data._1 
    user = data._2 
    mentionedUser <- data._3 
    } yield (hashtag, user, mentionedUser) 

    result.foreach(println) 

出力：

(timetofly,Shera_Eyra,blxcknicotine) 
(timetofly,Shera_Eyra,kimtheskimm) 
(hellocake,Shera_Eyra,blxcknicotine) 
(hellocake,Shera_Eyra,kimtheskimm) 

場合あなたは、代わりにあなたのリストを与えるために歩留まりを変更、文字列のリストの配列ではなく、文字列のタプルの配列を好むだろう：あなたのコードスニペットでyield List(hashtag, user, mentionedUser)

Answer 2

、dataがDStream[(Array[String], String, List[String])]です。ご希望のフォーマットでDStream[String]を取得するには、flatMapとmapを使用することができます。各タプルは、ハッシュタグのエンティティ、ユーザー、および言及のエンティティで構成されているDStream[(String, String, String)]で

val data = stream.map { line => 
    (line.getHashtagEntities.map(_.getText), 
    line.getUser().getScreenName(), 
    line.getUserMentionEntities.map(_.getScreenName).toList) 
} 

val data2 = data.flatMap(a => a._1.flatMap(b => a._3.map(c => (b, a._2, c)))) 
       .map { case (hash, user, mention) => s"$hash, $user, $mention" } 

flatMap結果。パターン照合を伴うmapへのその後の呼び出しでは、Stringの各要素がカンマとスペースで区切られたが作成されます。