Spooldirソース停止処理

Question

ファイルを生成する遠隔のサーバーがあります。サーバーはhadoopクラスタに15分ごとにファイルをプッシュします。これらのファイルは、特定のディレクトリに格納されます。 flumeを使用して、ローカルディレクトリからファイルを読み込んでHDFSに送りました。ただし、SpoolDirはデータを処理するのに適しています。

問題は、ファイルがディレクトリに書き込まれている間に処理をシャットダウンすることです。
flume spooldir waitをファイルの完全な書き込みにする方法を知りません。それを処理します。 ファイルシェルやプロセッサを使用して、完全に書き込まれるまでファイルの読み込みをブロックする方法。

誰かが私を助けることができます！

Answer 1

スプールソースのpollDelayプロパティを設定します。 指定されたディレクトリの特定の間隔で新しいファイルのスプールディレクトリをポーリングします。 デフォルト値は500msです。 多くのシステムでは速すぎるので、適切に設定する必要があります。