2017-07-17 8 views
1

カフカをソースとして使用し、flumeとしてsink.SinkタイプをHDFSとして使用してリアルタイムデータを取り込みしようとしています。私のプロデューサーは正常に動作しています。データが生成されていて、エージェントが正常に動作しています(コマンドの実行中にエラーは発生していません)が、指定されたディレクトリにファイルが生成されません。水路エージェントを起動するためのFlumeDataファイルがHDFSシンクで作成されない

コマンド:

/usr/hdp/2.5.0.0-1245/flume/bin/flume-ng agent -c /usr/hdp/2.5.0.0-1245/flume/conf -f /usr/hdp/2.5.0.0-1245/flume/conf/flume-hdfs.conf -n tier1 

そして、私の水路-hdfs.confファイル:

tier1.sources = source1 
tier1.channels = channel1 
tier1.sinks = sink1 

tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource 
tier1.sources.source1.zookeeperConnect = localhost:2181 
tier1.sources.source1.topic = data_1 
tier1.sources.source1.channels = channel1 

tier1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel 
tier1.channels.channel1.brokerList = localhost:6667 
tier1.channels.channel1.zookeeperConnect = localhost:2181 
tier1.channels.channel1.capacity = 10000 
tier1.channels.channel1.transactionCapacity = 1000 

tier1.sinks.sink1.type = hdfs 
tier1.sinks.sink1.hdfs.path = /user/user_name/FLUME_LOGS/ 
tier1.sinks.sink1.hdfs.rollInterval = 5 
tier1.sinks.sink1.hdfs.rollSize = 0 
tier1.sinks.sink1.hdfs.rollCount = 0 
tier1.sinks.sink1.hdfs.fileType = DataStream 
tier1.sinks.sink1.channel = channel1 

私は実行と間違っているものを見つけることができないのです。

この問題を解決する方法をご提案ください。

答えて

0

セットHDFSのパスはこのようにシンク:例えば

tier1.sinks.sink1.hdfs.path = "VALUE of fs.default.name, located in core-site.xml"/user/user_name/FLUME_LOGS/ 

tier1.sinks.sink1.hdfs.path = hdfs://localhost:54310/user/user_name/FLUME_LOGS/ 
関連する問題