キネシス入力ストリームをLogstashに入力

Question

私は現在、データの摂取に必要なLogstashを評価中です。ユースケースの1つは、AWS Kinesisストリームからデータを読み込むことです。私はlogstash-input-kinesisプラグインをインストールしようとしました。私はそれを実行すると、私はストリームからのイベントを処理するログシュートは表示されません。私のlogstashは他のタイプの入力（tcp）とうまく動作しています。デバッグログにエラーはありません。処理するものがないので動作します。私の設定ファイルは：

input { 
    kinesis { 
     kinesis_stream_name => "GwsElasticPoc" 
     application_name => "logstash" 
     type => "kinesis" 
    } 
    tcp { 
     port => 10000 
     type => tcp 
    } 
} 

filter { 
    if [type] == "kinesis" { 
     json { 
      source => "message" 
     } 
    } 

    if [type] == "tcp" { 
     grok { 
      match => { "message" => "Hello, %{WORD:name}"} 
     } 
    } 
} 

output{ 
    if [type] == "kinesis" 
    { 
     elasticsearch{ 
      hosts => "http://localhost:9200" 
      user => "elastic" 
      password => "changeme" 
      index => elasticpoc 
     } 
    } 
    if [type] == "tcp" 
    { 
     elasticsearch{ 
      hosts => "http://localhost:9200" 
      user => "elastic" 
      password => "changeme" 
      index => elkpoc 
     } 
    } 
} 

Answer 1

私はlogstashの方法を試していませんが、AWSで実行している場合。それは私たちが仕事にこの統合のためにAWSのサービスにアクセスするためのAWSの資格情報を提供する必要が

Answer 2

logstashする代替として働くだろうかどうかを確認することができますhttp://docs.aws.amazon.com/firehose/latest/dev/basic-create.html#console-to-es

で文書化されているように利用できるキネシス消火ホースElasticsearchへの摂取があります。

ここで同じことがわかります。https://github.com/logstash-plugins/logstash-input-kinesis#authentication