2017-02-27 7 views
0

Flume Agentのプロパティを設定していて、batchSize(送信するために一緒にバッチするイベントの数)にどの値を使用するべきかわかりません。FlumeのシンクのbatchSizeを決定する方法は?

私の場合、私はシンクとしてコンソールを使用します。私が理解するように、logger-sinkはこの場合に使用されるタイプです。しかし、Flumeのドキュメントでは、この種のシンクのbatchSizeパラメータについては言及していません。 logger-sinksのbatchSizeを定義する必要はありませんか?

答えて

0

まあ、私は質問の答えを見つけました:logger-sinksのbatchSizeを定義する必要はありませんか?

​​BATCHSIZE代わりに(デフォルトでは、その値は16である)ログにイベント本体のバイトの最大数を定義するパラメータカーレmaxBytesToLogがあり、そこではありません。 https://medium.com/@DCA/something-about-flume-3cb720ba00e8#.37zs23dnt

そして、どのようにシンクのバッチサイズを決定するために、メインの質問について:から

node.sources = my-source 
node.channels = my-channel 
node.sinks = my-sink 
# Since node 1 sink is avro-type, here we indicate avro as source type 
node.sources.my-source.type = avro 
node.sources.my-source.bind = 0.0.0.0 
node.sources.my-source.port = 11112 
node.sources.my-source.channels = my-channel 
node.channels.my-channel.type = memory 
node.channels.my-channel.capacity = 10000 
node.channels.my-channel.transactionCapacity = 100 
node.sinks.my-sink.type = logger 
node.sinks.my-sink.channel = my-channel 
node.sinks.my-sink.maxBytesToLog = 256 

出典:ここで私は、シンクとしてコンソールを使用して水路の薬剤の発見の簡単な例はありますか?

hdfsバッチサイズに関しては、バッチサイズが大きいほどパフォーマンスが向上します。ただし、トランザクションが失敗した場合は、トランザクション全体が再生され、下流に重複イベントが含まれる可能性があることに注意してください。

投稿日: https://cwiki.apache.org/confluence/display/FLUME/BatchSize,+ChannelCapacity+and+ChannelTransactionCapacity+Properties

関連する問題