AWS SQSキューパフォーマンスを改善する

Question

AWS SQSキューを実装して、バックエンドサーバとのデータベース対話を最小限に抑えようとしましたが、問題が発生しています。

• 私は1つのSQSキューからメッセージを探す消費者プロセスを1つ持っています。
• クライアントがWebインターフェイスのボタンをクリックすると、JSONメッセージがSQSキューに配置されます。
• アプリケーションサーバーのバックエンドジョブがSQSキューからJSONメッセージを取得し、そのメッセージをキューから削除して処理します。

機能をテストするために、私は1つのクライアントのロジックを実装しました。それは正常に動作していた。しかし、私は3つのクライアントを追加したとき、正しく動作しませんでした。 SQSキューに500個のメッセージが滞留していて、バックエンドジョブがキューから正しく読み取っていることがわかりました。

バックエンドジョブの数を増やす必要がありますか、クライアントのSQSキューの数を増やす必要がありますか。現在、すべてのクライアントが同じキューにメッセージを送信します。

必要なバックエンドジョブの数を計算するにはどうすればよいですか？また、SQSをより速く動作させるための設定はありますか？

Answer 1

メッセージをキューに格納することは良いことです。実際はキューを使用することが目的です。

バックエンドシステムが、生成された速度でメッセージを消費できない場合、キューは処理されるまでメッセージを保持するバッファとして機能します。良い例が、このAWSの再です：Building Elastic, High-Performance Systems with Amazon SQS and Amazon SNS

その後規模あなたの消費者がメッセージの生成率を一致させるために、すぐにメッセージを処理することが重要である場合は、次のキューが2億の以上のメッセージで示されたプレゼンテーションを発明します（または、より速く、バックログを消費することができます）。

あなたのプロセスは、「SQSキューからJSONメッセージを取り出し、そのメッセージをキューから削除して処理している」と記述します。ベストプラクティスは、キューからメッセージを受信して​​処理し、を削除してから（完全に処理した後）を削除することです。このようにして、プロセスが失敗すると、定義された不可視期間の後にメッセージがキューに自動的に再表示されます。これにより、アプリケーションは障害に対してより復元力があります。