local
からHDFS
までのログファイルの一部をflume-ng
を使用してコピーしようとしています。 source
は/home/cloudera/flume/weblogs/
であり、sink
はhdfs://localhost:8020/flume/dump/
である。 cronジョブはtomcatサーバーのログを/home/cloudera/flume/weblogs/
にコピーし、HDFS
にコピーするファイルをログに記録したい場合は/home/cloudera/flume/weblogs/
というファイルを利用できるので、flume-ng
を使用します。以下は、私が作成したconfファイルです:Flume-ng:ログファイルをローカルからHDFSにコピーするためのソースパスとタイプ
agent1.sources= local
agent1.channels= MemChannel
agent1.sinks=HDFS
agent1.sources.local.type = ???
agent1.sources.local.channels=MemChannel
agent1.sinks.HDFS.channel=MemChannel
agent1.sinks.HDFS.type=hdfs
agent1.sinks.HDFS.hdfs.path=hdfs://localhost:8020/flume/dump/
agent1.sinks.HDFS.hdfs.fileType=DataStream
agent1.sinks.HDFS.hdfs.writeformat=Text
agent1.sinks.HDFS.hdfs.batchSize=1000
agent1.sinks.HDFS.hdfs.rollSize=0
agent1.sinks.HDFS.hdfs.rollCount=10000
agent1.sinks.HDFS.hdfs.rollInterval=600
agent1.channels.MemChannel.type=memory
agent1.channels.MemChannel.capacity=10000
agent1.channels.MemChannel.transactionCapacity=100
私が理解することはできませんよ。
1)agent1.sources.local.type = ???
2の値がどうなるか)ここで、上記のconfファイルにsource
パス/home/cloudera/flume/weblogs/
を言及します? 3)上記confファイルには何もありませんか?
私にこれらをお知らせください。