Logstash-5.X Kafka Inputプラグイン：kafkaトピックからメッセージが読み込まれない

Question

ELEセットアップを5.xにアップグレードする予定です。新しい環境でフォワーダとlogstashサーバ間にkafkaメッセージキューを追加しようとしました。

kafkaにメッセージを送信した転送者に問題はありません。私はkafkaコンシューマスクリプトを通してそれを確認しました。

しかし、logstash-kafka-inputプラグインを使用してkafkaからメッセージをプルすると、メッセージは書き込まれません。設定に特定の設定を追加/有効にする必要がありますか？

私logstash簡単な設定：トピックの

input { 
kafka{ 
    topics => ["weblogs"] 
    bootstrap_servers => "10.11.12.202:9092" 
} 
} 

output { 
    stdout { codec => rubydebug } 
file { 
       path => "/tmp/stdout.log" 
      } 
} 

カフカ消費スクリプトの出力は：

[root@logstash kafka_2.11-0.10.2.0]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic weblogs 
10.11.12.169 - - [27/Apr/2017:13:50:26 +0000] "GET/HTTP/1.0" 302 287 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)" 
192.168.10.11 - - [27/Apr/2017:13:50:29 +0000] "GET/HTTP/1.0" 302 281 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)" 
10.11.12.169 - - [27/Apr/2017:13:50:29 +0000] "GET/HTTP/1.0" 302 291 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)" 
10.11.12.169 - - [27/Apr/2017:13:50:32 +0000] "GET/HTTP/1.0" 302 289 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)" 

Answer 1

これは、私が働いてそれを取得しているとの基本的な構成です。

input { 
    kafka { 
     bootstrap_servers =>["kafkaIp:9092"] 
     topics => ["topic1"] 
     codec => "json" 
     group_id => "logstashgroup" 
    } 
} 
output { 
    elasticsearch { 
     hosts => ["http://elasticsearchIp:9200"] 
     manage_template => true 
     index => "indexname" 
    } 
} 

これが役立ちます。