AWS ElasticSearchストリーミングデータを読み込み

Question

私はこの後guideに従って、リアルタイムWebトラフィックデータをS3にロードし、ラムダをESドメインインデックスにロードするように設定します。現在、各レコードについて、この{GUID} .jsonという名前のS3バケットに新しい行番号のjsonファイルを作成します。このファイルには1行しか含まれていません。例えば：これはライブ行くとき

{"email":"example@test.com","firstname":"Hello","lastname":"World"} 

だから、それはラムダ関数を経由してESにプッシュされますその後、S3バケットにJSONファイルの何百万人をアップロードします。これは、ストリーミングデータを読み込む正しいアプローチですか？または、1時間ごとに複数のレコードを集計する予定のプロセスを開発する必要がありますか？たとえば、jsonファイルあたり10kレコードがS3バケットにアップロードされますか？私はそれが技術的に「リアルタイムストリーミング」ではないと感じています。

提案がありますか？

Answer 1

AWS Kinesis Firehoseを使用してストリーミングデータをElasticSearchに読み込もうとしましたか？

参考：https://aws.amazon.com/kinesis/firehose/firehose-to-elasticsearch-service/

それはあなたの側での努力の必要性のほとんどを奪うでしょう。