2016-06-14 14 views
0

したがって、Elasticsearchに保存するデータはcsvファイルです。次の内容が含まれています。LogstashからElasticsearchへの@UNIX_MSの解析に失敗しました

1465309033156,84,http://test.com/purchase.php,200,OK,ThreadGroup 1-3,true,6,6,84,testPC,0 
1465309033469,176,http://test.com/,200,OK,ThreadGroup 1-7,true,7,7,176,testPC,91 

UNIX_MSの最初の行と同じです。

私はlogstashでデータを送信しようとしています。ここに私の設定ファイルは次のとおりです。

input { 
    file { 
     sincedb_path => "NUL" 
     ignore_older => 0 
     type => "csv" 
     path => ["C:/result/piet.jtl"] 
     start_position => "beginning" 
    } 
} 
filter { 
    csv { 
     columns => ["@jmeter_timestamp", ...] 
     separator => "," 
    } 
    date { 
     locale => "en" 
     match => ["@jmeter_timestamp", "UNIX_MS"] 
     remove_field => ["@jmeter_timestamp"] 
     target => "@timestamp" 
     timezone => "Europe/Amsterdam" 
    } 
} 
output { 
    elasticsearch { 
     template => "c:/result/piet.json" 
     template_name => "piet" 
     hosts => ["192.168.43.51:9200"] 
     index => "piet-%{+YYYY.MM.dd}" 
    } 
} 

ここpiet.jsonの一部です:

"mappings": { 
    "logs": { 
     "properties": { 
      "@timestamp": { 
       "type": "date" 
      }, 

今私は、configファイルを実行し、エラーを取得しています。

​​

私の標準出力は次のようになります。

console output

私はちょうど迷ってしまいました。 CSVファイルからのデータをElasticsearchに挿入するにはどうすればいいですか。

答えて

0

自分で解決しました。 Elasticsearchは日付を正しく認識しないため、日付について不平を言います。 それで、ElasticsearchからKopfプラグインを使ってマッピングを完全に削除しました。

次の詳細を含む.jsonを再追加しました。 (フォーマットに注意してください)

"mappings": { 
     "logs": { 
     "properties": { 
      "@timestamp": { 
       "type": "date", 
      "format" : "strict_date_optional_time||epoch_millis" 

これは現在作業中です。 Huray

関連する問題