最大ファイルサイズはlogstash 2.4.0で読み取ることができます

Question

ファイルを読み込み、logstashで解析して別のファイルに出力します。

input_file -> logstash -> output_file 

私のパーサーはうまく動作し、約1000行のtxtファイルのサンプルファイルをテストしました。

問題は、200MBから1GBの間の実際のファイルで実際のテストを開始すると、何も起こりません。 stdoutとtxtファイルで出力がありません。

私が質問した最後のことは、入力ファイルのファイルサイズです！

可能性についていくつか考えてもらえますか？または入力ファイルの最大ファイルサイズを変更するにはどうすればよいですか？

PS：Windowsでテストします。

編集：これはLogstash 5.5.1で動作します！ V2.4.0の問題は何ですか？

Thanskたくさん

Answer 1

Logstashは、ファイル内の最後の読み取りポインタのsyncdbの実行を維持することによって、基本的に動作し、テーリングツールです。したがって、大きなファイルを解析するようには設計されていませんでした。

デバッグにいくつかのポインタを付けることができますが、それらが動作するかどうかはわかりません。エラーメッセージがあれば、デバッグログを確認するために-v（冗長）オプションを試してみてください。 Logstashは、JVMがメモリサイズを増やして動作確認するのと同じです。

最後に、後者のバージョンが動作していればそれを使用すると、多くのバグがアップグレードで修正されます。 お手伝い願います！