LogstashはKafkaでデータを受け取ることができません

Question

私はDocker ELKコンテナをhttps://hub.docker.com/r/sebp/elk/から使用しています。logstash-logsによれば、すべて正常で動作しています。

は今、私はカフカからデータを受信し、以下の設定でESへの書き込みをしてみてください。私はすべてのデータを受信することはできませんので、私のセットアップで

input { 
    kafka { 
     topic_id => "collectortopic" 
     zk_connect => "172.17.0.2:2181" 
     type => "kafka-input" 
    } 
} 
output { 
    elasticsearch { 
     hosts => ["172.17.0.4:9200"] 
     codec => json 
    } 
    stdout { 
     codec => json 
    } 
} 

しかし、何も、間違っているようです。ログスタッシュインデックスは作成されていないため、コンソール内のLogstashからの出力もKibana内のデータもありません。これは、プラグインのドキュメントに従ってデフォルトの動作にする必要があります。私は他のアプリケーションとデータを送受信することができますので、

マイカフカのセットアップは...そう、私は例外を取得するためzk_connectは、あまりにも正確である、

任意のアイデア罰金ですか？

ありがとうございます！

P.S：カフカ0.9.1、2.3.3 Logstash、ES 2.3.3

Answer 1

の推測では、Logstashのは、あなたが送信しているものは何でも解析するのに失敗しています。それは有効なJSONですか？ログのエラーをチェックしましたか？

Answer 2

LogstashサーバーがKafkaとElasticsearchと通信できるかどうか確認しましたか？あなたのような答えが必要ならば

curl 172.17.0.4:9200 

をそして：カフカのために

{ 
    "name" : "inf01-log-els", 
    "cluster_name" : "inf01-log-els", 
    "version" : { 
    "number" : "2.2.1", 
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1", 
    "build_timestamp" : "2016-03-09T09:38:54Z", 
    "build_snapshot" : false, 
    "lucene_version" : "5.4.1" 
    }, 
    "tagline" : "You Know, for Search" 
} 

をあなたはこれをチェックすることができ、：Elasticsearchについては

：

あなたはこれを使用することができます

telnet 172.17.0.2 2181 

そこからELKの問題がいくつか発生しました。

Answer 3

Kafkaが別のコンテナで動作している私のケースでは、KAFKA_ADVERTISED_HOST_NAMEをlocalhostではなくIPアドレスに設定する必要がありました。

ありがとうございました！

Answer 4

logstash-input-kafkaプラグインのバージョンを3.x.x以上に更新しようとしましたか？ documentationによれば、Kafka 0.9+はバージョン3.x +のプラグインでサポートされています。 Logstash 2.xはまだデフォルトでプラグインバージョン2.xで提供されています。