FIlebeat-Redis-Logstash：Filebeatは速く、Logstahは遅く、ログはスレッド化しますか？

Question

私はlogstashのレイテンシー問題に直面しています。私はfilebeat各フロント

filebeatはログを読み取りにインストールされている私は、AWSの自動スケーリンググループ

でAWS EC2上のいくつかのWebフロントを持って

• ：

  実際、私はELKはこのように構築されたスタックしていますファイルと私はRedisの（POP）からログを読み取るEC2のc4.largeにインストールlogstash、およびインデックスそれらを持っているのRedisのcluter（AW​​S elasticache Redisの、マスターとスレーブノード、無効クラスタモード）

• にメッセージを送信弾力性のあるクラスター内で
012 3 EC2のc4.xlargeの
• マイelasticsearchのconsitsは
• logstashもelasticsearchクラスタ

に問題がそれらをS3からELBログを読み取り、インデックス：

• 私は本当にありません私のlogstashのインスタンスか私のelasticsearchのクラスタの大きいCPUの使用
• ファイルの読み込みは正確にログを読み取り、送信しています
• 最初はすべて正常に動作していましたログが大きくなると、filebeatはログを非常に速く送信しますが、logstashは非常に遅くなります。

結果：kibanaで

• 私は（ログが遅くなりました2時間以上ある）
• 私は12月以来のS3 ELBのログを見ていないよ、時間とともに育っ遅延でfilebeatログを参照してください私がチェックしたのは、logstashはs3から60秒ごとにそれらを引っ張っていますが、それらのインデックスも作成していないようです。エラーもありません。

ログを再開するには、時間がかかりすぎてログがすべて表示されないようにしてください。ログスタッシュのサイズをもっと大きなインスタンス（c4.2xlarge）に増やしても、変更はありません何でも logstash redis inputを8つのスレッドで構成しましたが、全く変更はありません。

だから、私はあなたの視点からの問題に対処するにはどうすればよい、私は正確に私のlogstashサービスに糸を通すことができますどのように知っていただきたいと思いますか？

ありがとうございます。

Answer 1

私のログ待ち時間の問題が見つかりました。 私はフィルタ構成にmultineを使用していた、そしてそれを、セットlogstashパイプラインの労働者は、にカウントされます。 私はそれを削除し、私のファイルビートのソース構成で複数行の処理を行います。 また、高性能なネットワークパフォーマンスを得るために、logstashインスタンスをc4.largeからc4.xlargeにアップグレードし、パイプラインワーカー数を（c4.xlargeには4 vpcu）に設定し、elasticsearchワーカーをもあります。

今、私はリアルタイムでkibanaに私のログを持つことができます。

私はDebianのジェシーにlogstash 2.2.4を使用して、そしては、/ etc/default/logstashに私の設定のチューニングを行っています。、だから私はここに助言すべきで複数行を作る回避されているもの

可能な限り対応するようにしてください。 また、ワーカーの構成を適切に設定して、ログの増加を処理します。

ここで私の主な問題として答えたのはレイテンシですが、私はlogstash s3プラグインに関するanoterの別の問題を公開します。