ElasticSearchとS3へのKinesisの書き込み

Question

私はAWS Kinesisを使用してElastic Searchに書き込み、S3をバックアップとして使用しています。したがって、両方のソースに書き込んでいます。しかし私は、Elastic Searchにプッシュするときと同じ時間にS3にプッシュしないという1つの問題を観察しました。だから、それは定期的にやっていますか？誰かが与えることができればどんな説明も感謝します。また、これが当てはまる場合は、変更する方法はありますか？

Answer 1

ここで問題が見つかりました。したがって、それぞれのElastic SearchとS3には、いつ書き込むのかを定義する設定があります。バッファサイズとバッファ時間を確認してください。

これは、AWSキネシスよくある質問に記載されている： -

Q：バッファサイズとバッファ間隔は何ですか？

Amazon Kinesis Firehoseは着信ストリーミングデータを一定のサイズまたは一定期間バッファしてから宛先に配信します。配信ストリームの作成中にバッファサイズとバッファ間隔を構成できます。バッファサイズはMB単位で、Amazon S3の宛先は1MB〜128MB、Amazon Elasticsearch Serviceの宛先は1MB〜100MBです。バッファー間隔は秒単位で、60秒から900秒の範囲です。宛先へのデータ配信が配信ストリームへのデータ書き込みよりも遅れている状況では、Firehoseはバッファサイズを動的に引き上げてすべてのデータが宛先に配信されることを確認します。

ソース - https://aws.amazon.com/kinesis/firehose/faqs/

だから、私の場合には、設定が異なっていたので、私はS3への書き込みの遅延を見ていました。