FileBeatが複数のlogstash（インデクサー）サーバーに負荷分散されていない

Question

2つの異なるlogstashインデクサーサーバーで負荷分散を試みましたが、私のログに1000行追加すると、filebeatsはログを1つのサーバー

filebeat: 
    prospectors: 
    - 
     paths: 
     - "D:/ApacheLogs/Test/access.*.log" 
     input_type: log 
     document_type: my_test_log 
     scan_frequency: 1s 
    registry_file: "C:/ProgramData/filebeat/registry" 
output: 
    logstash: 
    hosts: ["10.231.2.223:5044","10.231.4.143:5044"] 
    loadbalance: true 
shipper: 
logging: 
    files: 

はfilebeats上の永続的なTCP接続を無効にするサポートが追加されます。視覚的に

マイfilebeatsがCONF）ログイベントを受信して​​いるlogstashサーバーを参照すぎて出力を確認することができますか？私は現在、AWS ELBを使用することはできません。なぜなら、固定接続のため、リセットされるまで、常に1つのlogstashサーバに送信されるからです。これはそれに適したアーキテクチャではありませんか？代わりに私はredisキューに送信する必要がありますか？私はファイルビートで、どのようにredisキューに送信するためのドキュメントを見つけることができませんでしたか？ Windowsサーバ上 ： - filebeatバージョンFileBeat（Windowsのこれらのような

何かが動作しませんでしたfilebeatsは何のログ

filebeat: 
    prospectors: 
    - 
     paths: 
     - "D:/ApacheLogs/Test/access.*.log" 
     input_type: log 
     document_type: my_test_log 
     scan_frequency: 1s 
    registry_file: "C:/ProgramData/filebeat/registry" 
output: 
    redis: 
    # Set the host and port where to find Redis. 
    host: "logstash-redis.abcde.0001.usw2.cache.amazonaws.com" 
    port: 6379 
shipper: 
logging: 
    level: warning 
    # enable file rotation with default configuration 
    to_files: true 
    files: 
    path: C:\temp\filebeat.log 

• バージョンを残さないので、私もそれをデバッグする方法を見つけることができませんlogstashインデクサーサーバーで1.2.2（386）） ：logstash 2.3.2

• オペレーティングシステム： Windowsサーバ：マイクロソフトのWindows NT 6.0.6002 Service Pack 2を Logstashインデクサーサーバー：RHEL Linuxの4.1.13-19.30.amzn1.x86_64

Answer 1

Filebeatは本当にこの問題を解決する必要がありますが、彼らは可能な限り軽量であるとして、それを宣伝するので、息を止めないでください。

私はそれがWindows上で実行されているHAProxyを取得することがいかに簡単であるかを知りませんが、あなたはそれがインストールされ得ることができれば、それはあなたの問題を解決する必要があります

https://serverfault.com/questions/95427/windows-replacement-for-haproxy

使用レイヤ4ラウンドロビンロードバランシング。おそらく、Filebeatを使ってすべてのマシンにHAProxyをインストールしたいと思うでしょう。 1 HAProxyフロントエンドはlocalhost：5044でリッスンし、複数のLogstashバックエンドにマップします。

Answer 2

あなたはコンフィグ以下を経由してRedisのためにあなたのfilebeat出力を送ることができます。

output: 
    redis: 
    host: "host" 
    port: <port> 
    save_topology: true 
    index: "index-name" 
    db: 0 
    db_topology: 1 
    timeout: 5 
    reconnect_interval: 1