LogStash Kafka出力/入力が機能していません

Question

kafkaブローカーでlogstashを使用しようとしています。一緒に統合することはできません。

各バージョンがされ、カフカはScalaの2.10

カフカ入力設定ファイルで0.8.2.2

• logstash 2.4
• は次のとおりです。

  input { 
      stdin{ 
      }  
  } 
  output{ 
      stdout { 
      codec => rubydebug 
      } 
  
      kafka { 
      bootstrap_servers => 10.120.16.202:6667,10.120.16.203:6667,10.120.16.204:6667' 
      topic_id => "cephosd1" 
      } 
  } 
  

  私は、トピックを一覧表示することができますカフカからcephosd1。 stdoutはコンテンツも印刷できます。

  しかし、私はkafka-console-consumer.shから何も読むことができません。

Answer 1

私はあなたに互換性の問題があると思います。 Logstash、Kafkaとkafka出力プラグインの間でversion compatibility matrixをチェックすると、Logstash 2.4の出力プラグインのうちkafkaにKafka 0.9クライアントバージョンが使用されていることがわかります。

カフカブローカー0.8.2.2をお持ちの場合は、クライアントバージョン0.9と互換性がありません（逆の場合はOKです）。 Logstash 2.0にダウングレードするか、Kafkaブローカを0.9にアップグレードすることができます。