2017-10-10 13 views
0

レコードをElasticsearchクラスタに直接送信するFirehoseストリーム用のAWSラムダ変換関数を作成しようとしています。AWS Lambda Nodejs関数でHTTP DELETE要求を実行する方法

現在、FirehoseストリームレコードにESドキュメントIDを指定する方法はないため、すべてのレコードが重複して挿入されます。しかし、FirehoseはLambdaでホストされている変換関数をサポートしています。

私の解決方法は、変形中のすべてのレコードに対してElasticsearchに対するDELETE要求を実行し、すべてのレコードを変更しないで返すラムダ変換関数を作成することです。 「削除挿入」の動作を実現しています(短期間消滅したレコードでは大丈夫です)。

しかし、Nodejについてはほとんど分かりませんが、これは簡単なことですが、どのように行うのかわかりません。

ラムダが利用できるノードパッケージがありますか? (AWS Elasticsearch APIが望ましいが、シンプルなHTTPパッケージがあればよい)。

これを行うには他のモジュールをパッケージ化する必要がありますか?

Apexのようなものが私を助けますか?私の好みの言語はGoですが、これまでにCloudviewに何かを実行したりログさせたりする頂点関数を得ることができませんでした...

ありがとうございます。

答えて

0

これは簡単な作業のようですので、フレームワークは必要ありません。

Node.jsに数行のコードが追加されました。 あなたを助けることができる2つのパッケージがあります。

  • elasticsearch-js
  • http-aws-es(あなたESドメインが保護され、あなたは要求に署名する必要がされている場合)

APIドキュメント:https://www.elastic.co/guide/en/elasticsearch/client/javascript-api/current/api-reference.html

関連する問題