大きなデータセットをリクエストするためのより効率的な方法のためにAPIをスクロール

Question

私はElastic Searchデータフォーマットプラグインを使用しています。私の要件は大量のデータセットを要求することです。私は10 000を超える要求する場合、必ずしかし、私は以下のようにエラーが表示されます。 [10000]が、[100000]だった：+サイズは以下でなければなりませんから

結果ウィンドウが、大きすぎます。大きなデータセットをリクエストするには、 より効率的な方法については、スクロールAPIを参照してください。この制限は [index.max_result_window]インデックス・レベルの設定を変更することで設定することができ、「

私のように私のデフォルトのページ割り当てを変更しようとしました：。

http://1.2.3.4:9200/index/_settings -d '{ "index" : { "max_result_window" : 1000000}}' 

しかし、物事が私のために働いていません。他の代替はありますか？

エラーMESSAで示唆したように、私はマスター

Answer 1

等の弾性検索5.4 データフォーマットのプラグインを使用していますge、scroll apiを使用すると、大量のデータセットを効率的に取得できます。例えば、上記のよう

POST <host_name>:<port_num>/<index_name>/_search?scroll=1m&size=100000 

として、サイズが100000として言及され、スクロールが、これは、スクロールAPIは、ヒットあたりの100000件のレコードを取得することを意味し、1メートルであり、このスクロールは1分間使用可能です。また、このAPIはスクロールIDを返します。スクロールIDはレコードの更なる検索に使用する必要があります。以下のサンプルを見つけてください：

POST <host_name>:<port_num>/_search?scroll=1m&scroll_id=<scroll_id> 

注：さらにスクロールapi呼び出し、インデックス名は言及する必要はありません。 scroll_idとスクロール時間だけで十分です。

詳細については、スクロールAPIの弾性検索のドキュメントを参照してください。https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-scroll.html