Redisから多くのLogstashインスタンスを読み取る

Question

Redisリストを使用する1つのノード内で1つのLogstashプロセスを実行していますが、大きなスループットを必要とせずに1つのプロセスしかデータスループットを処理できないと思います。

Logstashのもう1つのプロセスを実行して、この同じマシンの中でもう少しパフォーマンスが向上するのだろうと思っていましたが、それについてはわかりません。私のESインデックスはボトルネックではないことを知っています。

同じリストを消費すると、Logstashでデータが複製されますか？このアプローチは正しいことですか？

ありがとうございます！

ここに私の入力構成：

input { 
    redis { 
     data_type => "list" 
     batch_count => 300 
     key => "flight_pricing_stats" 
     host => "my-redis-host" 
    } 
} 

Answer 1

あなたが同じマシンに別のlogstashプロセスを実行しようとしている場合は、logstash入力スレッドを調整してみてください。デフォルトは1です。

input { 
    redis { 
     data_type => "list" 
     batch_count => 300 
     key => "flight_pricing_stats" 
     host => "my-redis-host" 
     threads => 2 
    } 
} 

同じredisに対して複数のlogstashを実行できます。イベントは重複しないようにしてください。しかし、私はそれが助けになるかどうかはわかりません。

何が起こっているかわからない場合は、logstash monitoring APIをお勧めします。あなたの本当のボトルネックを絞り込むのに役立ちます。

も対象に弾性からの興味深い記事：私は同じリストを消費した場合Logstash Lines Introducing a benchmarking tool for Logstash