get twitter homeタイムラインのつぶやきsparkストリーミングとスカラを使用

Question

sparkストリーミングとスカラを使ってtwitterのホームタイムラインのつぶやきを取得するにはどうすればいいですか？

val ssc = new StreamingContext(sc, Seconds(1)) 
val output = TwitterUtils.createStream(ssc, None) 

createStreamを使用すると、タイムラインが返されません。

Answer 1

Spark StreamingとScalaを使用してタイムラインのツイートを取得するには、TwitterFactoryをtwitter4jに設定してTwitter OAuthの認証情報を設定する必要があります。スパークストリーミングやスカラ座での本格的なたとえば

System.setProperty("twitter4j.oauth.consumerKey", "twitter_consumer_key") 
System.setProperty("twitter4j.oauth.consumerSecret", "twitter_consumer_secret") 
System.setProperty("twitter4j.oauth.accessToken", "twitter_access_token") 
System.setProperty("twitter4j.oauth.accessTokenSecret", "twitter_access_token_secret") 


val ssc = new StreamingContext(sc, Seconds(1)) 
val output = TwitterUtils.createStream(ssc, None) 

、たとえば次のよう参照してください：あなたは、あなたが次のコードを使用することができますsscでのアクセス認証情報を設定したくない場合、または

import twitter4j.TwitterFactory 
import twitter4j.auth.AccessToken 

// Twitter Authentication credentials 
    val consumerKey = "twitter_consumer_key" 
    val consumerSecret = "twitter_consumer_secret" 
    val accessToken = "twitter_access_token" 
    val accessTokenSecret = "twitter_access_token_secret" 

    // Authorizing with your Twitter Application credentials 
    val twitter = new TwitterFactory().getInstance() 
    twitter.setOAuthConsumer(consumerKey, consumerSecret) 
    twitter.setOAuthAccessToken(new AccessToken(accessToken, accessTokenSecret)) 

    // Setting up streaming context with a window of 10 seconds 
    val ssc = new StreamingContext(sc, Seconds(1)) 
    val output = TwitterUtils.createStream(ssc, Option(twitter.getAuthorization())) 

knolx-spark-streaming