kafkaトピックを消耗させるためにlogstashを使用して

Question

私はkafkaからlogstashへのメッセージを消費し始めています。私はelasticSearchに完全な話題を送っていますが、logstashでメッセージを受け取っていません。メッセージは来ますが、カフカ側からは何も見えません。それを構成する正しい方法は何ですか？

input { 
    kafka { 
    zk_connect => "localhost:2181" 
    topic_id => "event" 
    } 
} 

output{ 
    stdout{ 
    codec => rubydebug 
    } 
    elasticsearch{ 
    index => "event-%{+YYYY.MM.dd}" 
    hosts => ["localhost:9201"] 
    codec => json 
    } 
} 

curl localhost:9201 
{ 
    "name" : "Flex", 
    "cluster_name" : "elasticsearch", 
    "version" : { 
    "number" : "2.3.4", 
    "build_hash" : "e455fd0c13dceca8dbbdbb1665d068ae55dabe3f", 
    "build_timestamp" : "2016-06-30T11:24:31Z", 
    "build_snapshot" : false, 
    "lucene_version" : "5.5.0" 
    }, 
    "tagline" : "You Know, for Search" 
} 

コマンド：

/kafka-console-consumer.sh --zookeeper localhost:2181 --topic event 

は随時結果を生成します。

Answer 1

はauto_offset_resetとreset_beginningで、次のように試してみてください：

kafka { 
    topic_id => "event" 
    zk_connect => "localhost:2181" 
    group_id => "event-group" 
    auto_offset_reset => "smallest" 
    reset_beginning => true 
    consumer_threads => 1 
    }