logstashを使用してmysqlからelasticsearchにデータをインポート

Question

私のMySQLデータベースからlogstashを使用してelasticsearchにデータをインポートしたいと思います。私はすでにカスタムクエリ結果をインポートすることができますが、私はlogstashによって作成されているインデックスのマッピング/設定を定義することができます。また、1対多の関係でデータをインポートする方法もわかりません。

これは、これまでのところ、私のlogstash.confです：

input { 
jdbc { 
    jdbc_connection_string => "jdbc:mysql://localhost:3306/shop" 
    jdbc_user => "root" 
    jdbc_password => "" 
    jdbc_driver_library => "C:\Users\curUser\Desktop\mysql-connector-java-5.1.42\mysql-connector-java-5.1.42-bin.jar" 
    jdbc_driver_class => "com.mysql.jdbc.Driver" 

    statement => "SELECT * FROM variants var" 
    } 
} 

output { 
elasticsearch { 
    hosts => "localhost:9200" 
    index => "search" 
    document_type => "variants" 
    document_id => "%{id}" 
    } 
} 

注：私はelasticsearchするだけでデータをインポートするためにlogstash使用したいです。これはオンラインショップのため、フィールド上にいくつかのアナライザを使用する必要があります

Answer 1

これは可能かどうかわからないLogStashのESプラグインのドキュメントを調べました。

ただし、インデックスマッピングを設定してからLogStashを実行することができます。あなたはcURLのでインデックスマッピングを置くことによってそれを行うことができ、または多分LogStash

と、このHTTPリクエストを実行するための方法がありますhttps://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html とhttps://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html