2017-03-17 10 views
0

私のtwitterデータは可読形式ではありません。私は、ハイブテーブルを使って読むことを試みているflumeを使ってtwitterデータを取り出しました。しかし、私はhdfsで適切なデータを見ることができません。詳細は以下のとおりです。Twitter Flumeデータが可読形式でない

flume-env.sh -

export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera 
FLUME_CLASSPATH="/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/flume-ng/lib/flume-sources-1.0-SNAPSHOT.jar 

twitter.conf -

TwitterAgent.sources = Twitter 
    TwitterAgent.channels = MemChannel 
    TwitterAgent.sinks = HDFS 

    TwitterAgent.sources.Twitter.type=org.apache.flume.source.twitter.TwitterSource 
    TwitterAgent.sources.Twitter.channels = MemChannel 
    TwitterAgent.sources.Twitter.consumerKey = xxxxxxxxxxxxxxxxxxxxxxxxx 
    TwitterAgent.sources.Twitter.consumerSecret = xxxxxxxxxxxxxxxxxxxxxxxx 
    TwitterAgent.sources.Twitter.accessToken = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
    TwitterAgent.sources.Twitter.accessTokenSecret = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 

    TwitterAgent.sources.Twitter.keywords = hadoop, bigdata, data science 

    TwitterAgent.sinks.HDFS.channel = MemChannel 
    TwitterAgent.sinks.HDFS.type = hdfs 
    TwitterAgent.sinks.HDFS.hdfs.path = hdfs://opt:8020/user/flume/tweets 
    TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream 
    TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text 
    TwitterAgent.sinks.HDFS.hdfs.batchSize = 100 
    TwitterAgent.sinks.HDFS.hdfs.rollSize = 0 
    TwitterAgent.sinks.HDFS.hdfs.rollCount = 100 

    TwitterAgent.channels.MemChannel.type = memory 
    TwitterAgent.channels.MemChannel.capacity = 100 
    TwitterAgent.channels.MemChannel.transactionCapacity = 100 

私はあまりを行うと、ファイルの1:

enter image description here

誰かが私がどこに間違っているか教えてもらえますか?私はハイブテーブルのためにこのデータを読める形式で必要とします。

答えて

0

解決済み。ただ、変更 TwitterAgent.sources.Twitter.type = org.apache.flume.source.twitter.TwitterSource にTwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource

関連する問題