rolloverSizeが150 MBに設定されている場合、数秒ごとにFlumeメッセージを表示します。

Question

flumeを使用してデータをKafkaからHDFSに移動するためのflumeパイプラインを作成しました。私はロールオーバーサイズを150 MBに設定しており、ロールオーバーが正しく行われます。

しかし、私はメッセージをHDFSファイルに頻繁に書きたいのですが、現在のメッセージはバッファに保存され、150MBのサイズに達するとフラッシュされます。基本的には、ほぼリアルタイムでHDFSに書き込まれたmsessagesを取得し、150MBに達するとファイルをロールオーバーしたいと思います。

batchSizeプロパティを設定しようとしましたが、大した助けがありませんでした。

上記の要件は、flumeで実装することは可能ですか？

Answer 1

hdfs.rollIntervalはあなたのflume confで設定する必要があります。このパラメータは、指定された秒数ごとにチャネルをhdfsにフラッシュするようFlumeに指示します。したがって、この値をケースで可能な最小間隔に設定します。