2016-11-30 9 views
0

私はfluentdとelasticsearchを使ってドッカーログを収集しようとしています。私のfluentdはelasticsearchで動作しません

2016-11-30 16:29:34 +0800 [info]: starting fluentd-0.12.19 
2016-11-30 16:29:34 +0800 [info]: gem 'fluent-mixin-config-placeholders' version '0.3.0' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluent-mixin-plaintextformatter' version '0.2.6' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluent-plugin-elasticsearch' version '1.7.0' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluent-plugin-mongo' version '0.7.11' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluent-plugin-rewrite-tag-filter' version '1.5.3' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluent-plugin-s3' version '0.6.4' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluent-plugin-scribe' version '0.10.14' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluent-plugin-secure-forward' version '0.4.3' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluent-plugin-td' version '0.10.28' 
2016-11-30 16:29:34 +0800 [info]: gem 'fluent-plugin-td-monitoring' version '0.2.1' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluent-plugin-webhdfs' version '0.4.1' 

2016-11-30 16:29:34 +0800 [info]: gem 'fluentd' version '0.12.19' 

2016-11-30 16:29:34 +0800 [info]: adding match pattern="td.*.*" type="tdlog" 

2016-11-30 16:29:34 +0800 [info]: adding match pattern="debug.**" type="stdout" 

2016-11-30 16:29:34 +0800 [info]: adding match pattern="docker.**" type="stdout" 

2016-11-30 16:29:34 +0800 [info]: adding match pattern="*.**" type="copy" 

2016-11-30 16:29:35 +0800 [info]: adding source type="forward" 
2016-11-30 16:29:35 +0800 [info]: adding source type="http" 
2016-11-30 16:29:35 +0800 [info]: adding source type="debug_agent" 
2016-11-30 16:29:35 +0800 [info]: using configuration file: <ROOT> 

    <match td.*.*> 
    type tdlog 
    apikey xxxxxx 
    auto_create_table 
    buffer_type file 
    buffer_path /var/log/td-agent/buffer/td 
    <secondary> 
     type file 
     path /var/log/td-agent/failed_records 
     buffer_path /var/log/td-agent/failed_records.* 
    </secondary> 
    </match> 
    <match debug.**> 
    type stdout 
    </match> 
    <match docker.**> 
    type stdout 
    </match> 
    <match *.**> 
    type copy 
    <store> 
     @type elasticsearch 
     host localhost 
     port 9200 
     include_tag_key true 
     tag_key log_name 
     logstash_format true 
     flush_interval 1s 
    </store> 
    </match> 
    <source> 
    type forward 
    </source> 
    <source> 
    type http 
    port 8888 
    </source> 
    <source> 
    type debug_agent 
    bind 127.0.0.1 
    port 24230 
    </source> 
</ROOT> 

2016-11-30 16:29:35 +0800 [info]: listening fluent socket on 0.0.0.0:24224 
2016-11-30 16:29:35 +0800 [info]: listening dRuby uri="druby://127.0.0.1:24230" object="Engine" 
2016-11-30 16:29:38 +0800 docker.40271db2b565: {"log":"1:M 30 Nov 08:29:38.065 # User requested shutdown...","container_id":"40271db2b565d52fa0ab54bde2b0fa4b61e4ca033fca2b7edcf54c1a93443c19","container_name":"/tender_banach","source":"stdout"} 

私はelasticsearchのデフォルト設定を使用していますが、私が起動した後は、このようにログを記録しています。

[2016-11-30T16:49:32154] [oecraDiskThresholdMonitor] [I_hB3Vd]高いディスク透かし[90%]が[I_hB3VdfQ3q3hBeP5skTBQ] [I_hB3Vd] [/ユーザー/ IT /デスクトップ/上超過[WARN] elasticsearch-5.0.1 /データ/ノード/ 0]フリー:10ギガバイト[8.9%]、破片が離れて、​​このノードから移転される

マイelasticsearchバージョンはfluentdバージョンとfluent-plugin-elasticsearchが上記示している、5.0.1です。私はMac OS 10.11.6を使用しています。私はオンラインで見つけられたすべての方法を試しましたが、誰でも助けてくれますか?

答えて

0

は私のelasticsearchのバージョンは5.0.1で、私のfluentdバージョンと流暢 - プラグインelasticsearchは、上記示したと言うのを忘れて、私は、Mac OSに10.11.6

0

を使用していfluentdがうまく起動されるように見えます。私はあなたのelasticsearch(複数のノードがある場合はデータノード)に問題があると言います。エラーは、あなたのノードの1つでディスクスペースの問題のように見えます。

関連する問題