2012-08-29 8 views
7

RailsアプリケーションでElasticsearch(およびTire)でハイライトを使用するのに問題があります。私は正常にPDF添付ファイルのインデックスを作成し、それらを照会することができますが、私は強調表示を動作させることができません。Elasticsearch:アタッチメント内のヒットをハイライトする

ESに詳しいので、トラブルシューティングの場所を確認できません。マッピングとカールクエリーから始まりますが、詳細情報をお気軽にお尋ねください。

$ curl -XGET 'http://localhost:9200/_mapping?pretty=true' 
{ 
    "articles" : { 
    "article" : { 
     "properties" : { 
     "attachment" : { 
      "type" : "attachment", 
      "path" : "full", 
      "fields" : { 
      "attachment" : { 
       "type" : "string" 
      }, 
      "title" : { 
       "type" : "string", 
       "store" : "yes" 
      }, 
      "name" : { 
       "type" : "string", 
       "store" : "yes" 
      }, 
      "date" : { 
       "type" : "date", 
       "ignore_malformed" : false, 
       "store" : "yes", 
       "format" : "dateOptionalTime" 
      }, 
      "content_type" : { 
       "type" : "string" 
      } 
      } 
     }, 
     "content" : { 
      "type" : "string" 
     }, 
     "created_at" : { 
      "type" : "date", 
      "ignore_malformed" : false, 
      "format" : "dateOptionalTime" 
     }, 
     "filename" : { 
      "type" : "string" 
     }, 
     "id" : { 
      "type" : "integer", 
      "ignore_malformed" : false 
     }, 
     "published_on" : { 
      "type" : "date", 
      "ignore_malformed" : false, 
      "format" : "dateOptionalTime" 
     }, 
     "title" : { 
      "type" : "string" 
     }, 
     "updated_at" : { 
      "type" : "date", 
      "ignore_malformed" : false, 
      "format" : "dateOptionalTime" 
     } 
     } 
    } 
    } 
}% 

125ページインデックス付きPDF内の 'ヒット' との問い合わせ::

$ curl "localhost:9200/_search?pretty=true" -d '{ 
quote> "fields" : ["title"], 
quote> "query" : { 
quote>  "query_string" : { 
quote>  "query" : "xerox" 
quote>  } 
quote> }, 
quote> "highlight" : { 
quote>  "fields" : { 
quote>  "attachment" : {} 
quote>  } 
quote> } 
quote> }' 

{ 
    "took" : 1077, 
    "timed_out" : false, 
    "_shards" : { 
    "total" : 5, 
    "successful" : 5, 
    "failed" : 0 
    }, 
    "hits" : { 
    "total" : 1, 
    "max_score" : 0.036417194, 
    "hits" : [ { 
     "_index" : "articles", 
     "_type" : "article", 
     "_id" : "13", 
     "_score" : 0.036417194, 
     "fields" : { 
     "title" : "F-E12" 
     } 
    } ] 
    } 
}%  

私のようなセクションを期待していた(カール経由)

class Article < ActiveRecord::Base 
    include Tire::Model::Search 
    include Tire::Model::Callbacks 

    attr_accessible :title, :content, :published_on, :filename 

    mapping do 
    indexes :id, :type =>'integer' 
    indexes :title 
    indexes :content 
    indexes :published_on, :type => 'date' 
    indexes :attachment, :type => 'attachment', 
          :fields => { 
          :name  => { :store => 'yes' }, 
          :content => { :store => 'yes' }, 
          :title  => { :store => 'yes' }, 
          :file  => { :term_vector => 'with_positions_offsets', :store => 'yes' }, 
          :date  => { :store => 'yes' } 
          } 
    end 

    def to_indexed_json 
    to_json(:methods => [:attachment]) 
    end 

    def attachment 
    if filename.present? 
     path_to_pdf = "/Volumes/Calvin/sample_pdfs/#{filename}.pdf" 
     Base64.encode64(open(path_to_pdf) { |pdf| pdf.read }) 
    else 
     Base64.encode64("missing") 
    end 
    end 
end 

マッピング

"highlight" : { 
     "attachment" : [ "\nLast Year <em>Xerox</em> moved their facilities" ] 
    } 

ありがとうございました!

EDIT2:無駄に調整クエリ(attachment.fileattachment変更):

$ curl "localhost:9200/_search?pretty=true" -d '{ 
    "fields" : ["title","attachment"], 
    "query" : {"query_string" : {"query" : "xerox"}}, 
    "highlight" : {"fields" : {"attachment.file" : {}}} 
}' 

{ 
    "took" : 221, 
    "timed_out" : false, 
    "_shards" : { 
    "total" : 5, 
    "successful" : 5, 
    "failed" : 0 
    }, 
    "hits" : { 
    "total" : 1, 
    "max_score" : 0.036417194, 
    "hits" : [ { 
     "_index" : "articles", 
     "_type" : "article", 
     "_id" : "13", 
     "_score" : 0.036417194, 
     "fields" : { 
     "title" : "F-E12", 
     "attachment" : "JVBERi0xLjYNJeLjz9MNCjk4NSAwIG9iag08PC9MaW5lYXJpemVkIDEvTCA...\n" 
     } 
    } ] 
    } 
} 

EDIT3は( "フィールド" を削除):アクションの添付ファイル・タイプから

$ curl "localhost:9200/_search?pretty=true" -d '{ 
> "query" : {"query_string" : {"query" : "xerox"}}, 
> "highlight" : {"fields" : {"attachment" : {}}} 
> }' 

{ 
    "took" : 1078, 
    "timed_out" : false, 
    "_shards" : { 
    "total" : 5, 
    "successful" : 5, 
    "failed" : 0 
    }, 
    "hits" : { 
    "total" : 1, 
    "max_score" : 0.036417194, 
    "hits" : [ { 
     "_index" : "articles", 
     "_type" : "article", 
     "_id" : "13", 
     "_score" : 0.036417194, "_source" : {"content":"Real report","created_at":"2012-08-28T22:44:08Z","filename":"F-E12","id":13,"published_on":"2007-12-28","title":"F-E12","updated_at":"2012-08-28T22:44:08Z","attachment":"JVBERi0xLjYNJeLjz9MNCjk4NSAwIG9iag08PC9MaW5lYXJpemVkID...\n" 
     } 
    } ] 
    } 
} 

Edit4(マッピングチュートリアル):

$ curl -XGET 'http://localhost:9200/test/_mapping?pretty=true' 
{ 
    "test" : { 
    "attachment" : { 
     "properties" : { 
     "file" : { 
      "type" : "attachment", 
      "path" : "full", 
      "fields" : { 
      "file" : {    #<== This appears to be missing 
       "type" : "string",  #<== from my Articles mapping 
       "store" : "yes",  #<== 
       "term_vector" : "with_positions_offsets" #<== 
      }, 
      "author" : { 
       "type" : "string" 
      }, 
      "title" : { 
       "type" : "string", 
       "store" : "yes" 
      }, 
      "name" : { 
       "type" : "string" 
      }, 
      "date" : { 
       "type" : "date", 
       "ignore_malformed" : false, 
       "format" : "dateOptionalTime" 
      }, 
      "keywords" : { 
       "type" : "string" 
      }, 
      "content_type" : { 
       "type" : "string" 
      } 
      } 
     } 
     } 
    } 
    } 
} 
+0

あなたが投稿したマッピングが別のタイプに関連していることがわかりました。添付ファイルではなく記事です。あなたは記事のマッピングが正しいと確信していますか?フィールドアタッチメント自体を出力に追加できますか? – javanna

+0

私は*何かが正しいとは思わないので、提案してください。あなたが求めた 'attachment'メソッドを追加しました。あなたの助けに感謝! – Meltemi

+0

申し訳ありませんが、添付ファイルのフィールドタイプを使用していたことに気付きませんでした。マッピングがよさそうだ!私は 'attachment.file'フィールドを強調表示しようとするべきだと思います。どうしたらいいのか教えてください! – javanna

答えて

8

私はそれを理解した!最後に...

問題は記事クラスのマッピングシンタックスにありました。 ":file"の名前を ":attachment"に変更する必要がありました。

tire.mapping do 
    indexes :id, :type =>'integer' 
    indexes :title 
    indexes :content 
    indexes :published_on, :type => 'date' 
    indexes :attachment, :type => 'attachment', #:null_value => 'missing_file', 
          :fields => { 
          :name  => { :store => 'yes' }, # exists?!? 
          :content => { :store => 'yes' }, 
          :title  => { :store => 'yes' }, 
    # WRONG! see next line => :file  => { :term_vector => 'with_positions_offsets', :store => 'yes' }, 
          :attachment => { :term_vector => 'with_positions_offsets', :store => 'yes' }, 
          :date  => { :store => 'yes' } 
          } 
+1

ニースキャッチ!あなたが解決したことを知ってうれしい! – javanna

+0

私はこれをES版の0.90.0時点で 'file'に変更したと思います。 – divadpoc

+0

curlやpythonでこれをどうやって行うのですか? – Craneum

関連する問題