MySQLのデータをElasticsearchにロード

Question

こんにちは私はlostash 2.Xのバージョンで以下のscirpファイルを使用しています。私はMySQLデータベーステーブルに186000以上のレコードを持っていますが、この.confファイルを実行している間に弾性検索インデックスを読み込みます。

input { 
     jdbc { 
      jdbc_connection_string => "jdbc:mysql://localhost/elasticsearch" 
      jdbc_user => "root" 
      jdbc_password => "empower" 
      #jdbc_validate_connection => true 
      jdbc_driver_library => "/home/wtc082/Documents/com.mysql.jdbc_5.1.5.jar" 
      jdbc_driver_class => "com.mysql.jdbc.Driver" 
      statement => "SELECT * FROM index_part_content_local;" 
      #schedule => "* * * * *" 
      #codec => "json" 
     } 
    } 

output { 
    elasticsearch { 
     index => "mysqltest" 
     document_type => "mysqltest_type" 
     document_id => "%{id}" 
     hosts => "localhost:9200" 
    } 
} 

私はこのクエリを使用する場合、あなたは明らかにあなたが持っていないことを意味し、ドキュメントのIDがそのまま値"%{id}"で見ることができるように一つだけの文書は、インデックス

GET mysqltest/_search 
{ 
    "query": { 
    "match_all": {} 
    } 
} 




{ 
    "took": 14, 
    "timed_out": false, 
    "_shards": { 
    "total": 5, 
    "successful": 5, 
    "failed": 0 
    }, 
    "hits": { 
    "total": 1, 
    "max_score": 1, 
    "hits": [ 
     { 
     "_index": "mysqltest", 
     "_type": "mysqltest_type", 
     "_id": "%{id}", 
     "_score": 1, 
     "_source": { 
      "partnum": "", 
      "property1": "", 
      "property2": "", 
      "color": "", 
      "size": "", 
      "dim": "", 
      "thumburl": "", 
      "catid": "6575", 
      "subcatid": "3813", 
      "termid": "31999", 
      "longdesc": "<ul><li>Equipment and Parts<li>GC32-XD Parts<li>D/V Lock Plate Screw</ul>", 
      "hier1desc": "Heavy Duty Tools/Equipment", 
      "hier2desc": "Other Heavy Duty Equipment", 
      "hier3desc": "Hose Crimping Equipment & Accessories", 
      "aaiabrandid": "BBSC", 
      "aaiabrandname": "Gates", 
      "brandimageurl": "es-logo-sm.jpg", 
      "linecode": "GAT", 
      "descrp": "D/V Lock Plate Screw", 
      "@version": "1", 
      "@timestamp": "2016-12-20T09:16:40.075Z" 
     } 
     } 
    ] 
    } 
} 

Answer 1

OKですデータベース内のid列とデータベースのすべてのレコードは同じ文書IDで索引付けされるため、1つの文書しか表示されないのはなぜですか。あなたのelasticsearch出力で

、あなたはあなたのテーブルの主キー

document_id => "%{PRIMARY_KEY}" 

それを修正して、それが動作するあるフィールドを使用して確認する必要があります。