Flumeを使用してTwitterデータを取得できない

私はhadoopのFlumeを使用してTwitterデータを取得していました。登録が正常に行われていますが、最終的に無効なURIまたはユーザdoesnotのメッセージを表示し続けます。この。ありがとうございます。Flumeを使用してTwitterデータを取得できない

私は以下のconfを使用しています。

TwitterAgent.sources= Twitter 
TwitterAgent.channels= MemChannel 
TwitterAgent.sinks=HDFS 
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource 
TwitterAgent.sources.Twitter.channels=MemChannel 
TwitterAgent.sources.Twitter.consumerKey=E9tsA378a5d1WfkKt1N9T9SkD 
TwitterAgent.sources.Twitter.consumerSecret=TK0gZLlppIWQJfCSjlzt0A7tLBLNygaqhdtLYwwvPxLs8BMhB9 
TwitterAgent.sources.Twitter.accessToken=833216676678217729-OGo6WnKqAG58xUpCGpDr7MNksq3jr2Q 
TwitterAgent.sources.Twitter.accessTokenSecret=5hc1AUyJpatiO8tFLsIZHXlSjfLzf3L8ORbYul8DmNZdo 
TwitterAgent.sources.Twitter.keywords= hadoop,election,sports, cricket,Big data, TwitterAgent.sinks.HDFS.channel=MemChannel 
TwitterAgent.sinks.HDFS.type=hdfs 
TwitterAgent.sinks.HDFS.hdfs.path=hdfs://192.168.56.101:9000/flumedata/ 
TwitterAgent.sinks.HDFS.hdfs.fileType=DataStream 
TwitterAgent.sinks.HDFS.hdfs.writeformat=Text 
TwitterAgent.sinks.HDFS.hdfs.batchSize=1000 
TwitterAgent.sinks.HDFS.hdfs.rollSize=0 
TwitterAgent.sinks.HDFS.hdfs.rollCount=10000 
TwitterAgent.sinks.HDFS.hdfs.rollInterval=600 
TwitterAgent.channels.MemChannel.type=memory 
TwitterAgent.channels.MemChannel.capacity=10000 
TwitterAgent.channels.MemChannel.transactionCapacity=100

これは私がflumeを実行するために使用しています。 ./bin/flume-ngエージェント-n TwitterAgent -f /opt/apache-flume-1.4.0-bin/conf/flume.conf

出典

2017-02-19 Shivani Tyagi

flumeバージョン1.4.0。上記のconfファイルをご覧ください。 –

17/02/20 07:19:19 INFO twitter4j.TwitterStreamImpl：404：要求されたURIが無効です。または、ユーザーなどの要求されたリソースが存在しません。不明なURLです。 http://dev.twitter.com/pages/streaming_apiのTwitter Streaming APIのドキュメントを参照してください。これはエラーです –

代わりにIPのこの

TwitterAgent.sinks.HDFS.hdfs.path=hdfs://localhost:9000/users/flume/tweets/

を試してみてくださいアドレスは "localhost"を使用します

これは私のために働いた。

出典

2017-08-14 14:37:41

Flumeを使用してTwitterデータを取得できない

答えて

関連する問題