Kinesis - 処理の書き込みProvisionedThroughputExceededException

Question

私たちは、永続的なキューとしてAWS Kinesisを使用しています。 Kinesisは、最大1000個の書き込み/秒、1シャードあたりの合計で1M/sです。ユースケースの80％が制限を下回ります。ただし、1M/sを超えるスパイクがあります。これらのスパイクの書き込み容量をさらに確保することは、費用対効果に優れていません。

提案がありますか？

1. SDKでProvisionedThroughputExceededExceptionを処理させますか？
2. 一時的な場所にイベントを書き込み、1Mに達すると一度フラッシュしますか？
3. ...？

Answer 1

kinesis autoscalingのawslabsプロジェクトを利用できます。

これにより、ピーク時のシャード数が自動的に増加し、シャード時間が短縮されます。これを行うには、自動拡張ポリシーを使用してしきい値を設定します。