logstash http-pollerを使用した動的URLパラメータ

Question

logstashのhttp-poller入力を使用して、jsonドキュメントの配列を返すwebserviceを使用して、データをelasticsearchにロードしたいとします。これを行うには、WebサービスのGET URLをリクエスト間のURLクエリパラメータで更新する必要があります。

たとえば、Webサービスでは開始パラメータと終了パラメータとして指定された日付範囲が使用され、1000件の結果に対する応答が制限されます。最初にデータを読み込むとき、logstashはすべてのデータがロードされるまで前のリクエストからの最新のタイムスタンプに設定された開始時刻でWebサービスを継続的に呼び出すようにします。

明確にするために、最初のHTTP GETリクエストはwebserviceurl?start=2015-01-01T00:00:00のようになります。応答の最新の文書にタイムスタンプ2015-01-01T21：55：34があるとします。次にHTTP GET要求は次のようになりますwebserviceurl?start=2015-01-01T21:55:34

これはlogstashとhttp-poller入力で可能ですか？

Answer 1

これは現在できませんが、this issueがエンハンスメントをリクエストしています。

現在、他の多くのLogstash入力プラグインのうち、http_pollerには状態の概念はありません。

としてはEvent Dependent Configurationで説明：

Logstashの設定オプションの一部が機能するために フィールドの存在を必要としています。入力はイベントを生成するため、入力ブロック内で評価するフィールドはまだありません。 フィールドはありません。