logstashプラグインへのKafka入力

Question

3台のサーバからなるkafkaクラスタからsyslogサーバに書き込むためにlogstash inorderへの読み込みを試みています。 私はsyslogを書き留めていますが、logstashのドキュメンテーションサイトでさえ、私はkafkaからlogstashへの読み方を見つけることができません。

Logtashバージョン：5.2.2 カフカバージョン：0.10.2 Scalaのバージョン：2_11

私は、これは行って、APIバージョンを見て、 LOGSTASH_CORE_PLUGIN_API = "2.1.12"

コンフィグ私は

input { 
# file 
# { 
#  path => "/opt/logstash/NOTICE.TXT" 
# 
#  #DEBUG below 
#  #path => "../fsdfdstt.log" 
#  start_position => "beginning" 
#  sincedb_path => "/dev/null" 
# } 
     kafka 
     { 
       zk_connect => "localhost:2181" 
       topic_id => "kafkatest2" 
     } 
} 
output 
{ 
     syslog 
     { 
       host => ["targetserver"] 
       port => port# 
     } 
} 

を使用しようとしました。しかし、これは私が取得していますエラーです...

[2017-03-15T10:24:17,000][ERROR][logstash.inputs.kafka ] Unknown setting 'zk_connect' for kafka 
[2017-03-15T10:24:17,008][ERROR][logstash.inputs.kafka ] Unknown setting 'topic_id' for kafka 
[2017-03-15T10:24:17,015][ERROR][logstash.agent   ] Cannot load an invalid configuration {:reason=>"Something is wrong with your configuration."} 

また、カフカ入力で 'group_id'を使用している人がいました。私のクラスタにgroupidがあるかどうかはわかりません。あなたのkafka入力の設定ではなく、このようにする必要がある

おかげで、 カラン

Answer 1

：

kafka 
    { 
      bootstrap_servers => "localhost:9092" 
      topics => "kafkatest2" 
    } 

あなたはカフカブローカーの1つに直接もう飼育係に接続しますが、しないでください。また、topic_idの設定はtopicsとなります。

あなたはで、最新の設定オプションを見つけることができます。ちょっとhttps://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html