sparkでTwitter APIをストリーミングする方法Scala

Question

sparkストリーミングを使用してscalaを使用してTwitterのツイートを読み取る方法。 Twitterのスパークコネクタは見つかりません。

Answer 1

私はspark-streaming-twitter twitterコネクタを使用してツイートを読み取りました。 これをDSXにインストールするには、pixiedustを使用しました。

火花ストリーミングさえずり

import pixiedust 

pixiedust.installPackage("org.apache.bahir:spark-streaming-twitter_2.11:2.0.1") 

import org.apache.spark.streaming.twitter._ 

TwitterUtils.createStream(ssc, None)