Flume Twitterストリーミングの問題

Question

私はFlume 1.6.0-cdh5.9.1をTwitterのソースを使用してストリームしています。

設定ファイルは以下の通りです：

今

<dependencies> 
    <!-- For the Twitter API --> 
    <dependency> 
     <groupId>org.twitter4j</groupId> 
     <artifactId>twitter4j-stream</artifactId> 
     <version>4.0.6</version> 
    </dependency> 

    <!-- Hadoop Dependencies --> 
    <dependency> 
     <groupId>org.apache.flume</groupId> 
     <artifactId>flume-ng-core</artifactId> 
     <version>1.6.0-cdh5.9.1</version> 
     <scope>provided</scope> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.flume</groupId> 
     <artifactId>flume-ng-sdk</artifactId> 
     <version>1.6.0-cdh5.9.1</version> 
     <scope>provided</scope> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.hadoop</groupId> 
     <artifactId>hadoop-common</artifactId> 
     <version>2.6.0-cdh5.9.1</version> 
     <scope>provided</scope> 
    </dependency> 
</dependencies> 

、私は水路エージェントを実行すると：Clouderaの.jarファイルの依存関係のために

TwitterAgent.sources = Twitter 
TwitterAgent.channels = MemChannel 
TwitterAgent.sinks = HDFS 

TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource 
TwitterAgent.sources.Twitter.channels = MemChannel 
TwitterAgent.sources.Twitter.consumerKey = xxxxxxxxxx 
TwitterAgent.sources.Twitter.consumerSecret = xxxxxxxxxx 
TwitterAgent.sources.Twitter.accessToken = xxxxxxxxxx 
TwitterAgent.sources.Twitter.accessTokenSecret = xxxxxxxxxx 
TwitterAgent.sources.Twitter.keywords = hadoop, cloudera 

TwitterAgent.sinks.HDFS.channel = MemChannel 
TwitterAgent.sinks.HDFS.type = hdfs 
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://localhost:8020/user/cloudera/tweets/ 
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream 
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text 
TwitterAgent.sinks.HDFS.hdfs.batchSize = 1000 
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0 
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000 
TwitterAgent.sinks.HDFS.hdfs.rollInterval = 600 

TwitterAgent.channels.MemChannel.type = memory 
TwitterAgent.channels.MemChannel.capacity = 1000 
TwitterAgent.channels.MemChannel.transactionCapacity = 100 

、私は依存関係の下に使用してMavenのでflume-sources-1.0-SNAPSHOT.jarを構築しました正常に起動し、Twitterに接続しますが、最後の行（ステータスストリームを受信する）の後で停止します。

2017-02-08 21:55:12,556 (Twitter Stream consumer-1[initializing]) [INFO - twitter4j.internal.logging.SLF4JLogger.info(SLF4JLogger.java:83)] Establishing connection. 
2017-02-08 21:55:46,474 (Twitter Stream consumer-1[Establishing connection]) [INFO - twitter4j.internal.logging.SLF4JLogger.info(SLF4JLogger.java:83)] Connection established. 
2017-02-08 21:55:46,474 (Twitter Stream consumer-1[Establishing connection]) [INFO - twitter4j.internal.logging.SLF4JLogger.info(SLF4JLogger.java:83)] Receiving status stream. 

最後の行の後に何も起こりません。終了せず、何もストリーミングしません。私はHDFSの場所を見て、何もそこに作成されていません。

誰かが私を助けることができますか？

Answer 1

問題は、コンフィギュレーションTwitterAgent.sources.Twitter.keywords

Twitterのソースが正常に動作しますし、継続的に限り、それは消防ホース内のデータを見つけるとツイートを引っ張ってくることにあります。私はいくつかの他の人気のある最近のキーワードを試してみました。