2016-03-23 1 views
0

localからHDFSまでのログファイルの一部をflume-ngを使用してコピーしようとしています。 source/home/cloudera/flume/weblogs/であり、sinkhdfs://localhost:8020/flume/dump/である。 cronジョブはtomcatサーバーのログを/home/cloudera/flume/weblogs/にコピーし、HDFSにコピーするファイルをログに記録したい場合は/home/cloudera/flume/weblogs/というファイルを利用できるので、flume-ngを使用します。以下は、私が作成したconfファイルです:Flume-ng:ログファイルをローカルからHDFSにコピーするためのソースパスとタイプ

agent1.sources= local 
agent1.channels= MemChannel 
agent1.sinks=HDFS 

agent1.sources.local.type = ??? 
agent1.sources.local.channels=MemChannel 

agent1.sinks.HDFS.channel=MemChannel 
agent1.sinks.HDFS.type=hdfs 
agent1.sinks.HDFS.hdfs.path=hdfs://localhost:8020/flume/dump/ 
agent1.sinks.HDFS.hdfs.fileType=DataStream 
agent1.sinks.HDFS.hdfs.writeformat=Text 
agent1.sinks.HDFS.hdfs.batchSize=1000 
agent1.sinks.HDFS.hdfs.rollSize=0 
agent1.sinks.HDFS.hdfs.rollCount=10000 
agent1.sinks.HDFS.hdfs.rollInterval=600 
agent1.channels.MemChannel.type=memory 
agent1.channels.MemChannel.capacity=10000 
agent1.channels.MemChannel.transactionCapacity=100 

私が理解することはできませんよ。

1)agent1.sources.local.type = ??? 2の値がどうなるか)ここで、上記のconfファイルにsourceパス/home/cloudera/flume/weblogs/を言及します? 3)上記confファイルには何もありませんか?

私にこれらをお知らせください。

答えて

1

あなたがいずれかを使用することができます:ディレクトリ内のすべてのファイルが

Exec Sourceとコマンドを使用します(あなたのファイルにはGNU/Linux上のすなわちcatまたはtail)

または読み取りのためのSpooling Directory Source

関連する問題