0
kibanaでの処理にlogstashを使用してCSVファイルをElasticSearchにインポートする際に問題があります。CSVファイルをLogstashで解析できません
これは私のlogstashの設定ファイルである：以下の出力で
sudo logstash -f /absolute_path_to_file/logstash.conf --vebrose
：私は、このコマンドを呼び出しています
"id";"číslo smlouvy";"zdroj";"produkt";"sjednání";"datum odeslaní";"čas odeslání";"pojišťovna";"tarif";"pojistník";"pojistnik telefon";"předmět pojištění";"rz";"počátek";"roční pojistné";"urgence";"stav"
"114951";"6132681255";"SRO";"POV";;"1.6.2016";"12:28";"csob";"csob-2";"BB TEST";"721666333";"Škoda Favorit";"NENÍ";"2.6.2016 00:00";"4657,00";;"TEST"
"114950";;"POV";"POV";"VO Bukvicova";"1.6.2016";"12:16";"csob";"csob-2";"BB BB";"721000111";"BMW X3";"NENÍ";"3.6.2016 00:00";"5550,00";;"TEST"
：
input {
file {
path => ["/absolute_path_to_file/export.csv"]
start_position => beginning
ignore_older => 0
sincedb_path => "/dev/null"
}
}
#filter {
# csv {
# columns => [
# "id",
# "cislo_smlouvy",
# "zdroj",
# "produkt",
# "sjednani",
# "datum_odeslani",
# "cas_odeslani",
# "pojistovna",
# "tarif",
# "pojistnik",
# "telefon",
# "predmet_pojisteni",
# "rz",
# "pocatek_pojisteni",
# "rocni_pojistne",
# "urgence",
# "stav"
# ]
# separator => ";"
# remove_field => ["message"]
# }
#}
output {
# elasticsearch {
# hosts => "localhost:9200"
# index => "smlouvy"
# }
stdout {
codec => rubydebug
}
}
そして、私のCSVファイルからの抜粋：
starting agent {:level=>:info}
starting pipeline {:id=>"main", :level=>:info}
Settings: Default pipeline workers: 2
Registering file input {:path=>["/absolute_path_to_file/export.csv"], :level=>:info}
Starting pipeline {:id=>"main", :pipeline_workers=>2, :batch_size=>125, :batch_delay=>5, :max_inflight=>250, :level=>:info}
Pipeline main started
は何もしないしばらくして、私はそれをシャットダウン：
^CSIGINT received. Shutting down the agent. {:level=>:warn}
stopping pipeline {:id=>"main"}
Closing inputs {:level=>:info}
Closed inputs {:level=>:info}
Input plugins stopped! Will shutdown filter/output workers. {:level=>:info}
Pipeline main has been shutdown
おそらく、関連するバージョン情報：
logstash 2.3.2
logstash-input-file (2.2.5)
logstash-filter-csv (2.1.3)
logstash-output-elasticsearch (2.6.2)
logstash-output-stdout (2.0.6)
logstash-codec-rubydebug (2.0.7)
を私は見つけることができるすべてのドキュメントを読み、多くを複製しようとしていますGitHubからのlogstash.confの例ですが、運がありません。私が紛失しているものについて何か助けてください？
を一つにファイルを変換する必要がありましたあなたのCSVファイルから期待されるデータと比較します。 – Val
そして私はそうではありません。私は設定が正しいと感じました、それはlogstash自体のいくつかの他の問題であるようです... –
正確な同じヘッダーを適切なアクセントなどで使用して、それが何か変わるかどうかを調べるかもしれません。 – Val