2016-12-22 9 views
0

私はカフカからデータを取り出し、ESインデックスにプッシュしようとしています。kafkaをlogstashに設定し、出力をESに送信する

input { 
kafka { 
bootstrap_servers => "XX.XXX.XXX.XXX:9092" 
topics => ["timeseries_ht"] 
} 
} 
output { 
elasticsearch { hosts => ["XX.XXX.XXX.XXX:9200"] 
index => "sound" 
} 
} 

これを実行すると、インデックスはESホストに作成されません。 。設定に何か問題はありますか?私はLOGSTASH 5.0.0を使用しています。 ES 5.0.0も同様です。 Logstash 2.xのバージョンで

:だけでなくLogstash 2.xのと

input { 
kafka { 
zk_connect => "XX.XXX.XXX.XXX:2181" 
topic_id => ["timeseries_ht"] 
} 
} 
output { 
elasticsearch { 
hosts => ["XX.XXX.XXX.XXX:9200"] 
index => "sound" 
} 
} 

doesntの仕事。私はホストマシンでインデックスの作成を見ることができません。

私がここで間違っているところは誰でも助けてくれますか?

+0

データがあなたのトピックに流れているか、あなたのトピックが完全にロードされ、あなたはLogstashオフセット最初からそれを消費することを期待しますか?これまではLogstash 2.xでは使用できましたが、5.xでは使用できませんでした。おそらく 'auto_offset_reset => '最も初期の' 'を追加しようとします。 – Val

+0

データが完全にロードされていてLogstashがそれを消費すると思っています。それを追加しようとします。 –

+0

は機能しません。それ以外の方法はありますか? –

答えて

1

Logstash 2を使用すると、このようなあなたのkafka入力を設定することができ、それが動作します:

input { 
    kafka { 
    zk_connect => "XX.XXX.XXX.XXX:2181" 
    topic_id => ["timeseries_ht"] 
    auto_offset_reset => "smallest" 
    reset_beginning => true 
    } 
} 
output { 
    elasticsearch { 
    hosts => ["XX.XXX.XXX.XXX:9200"] 
    index => "sound" 
    } 
} 
関連する問題