Webベースのアプリケーションでリクエストを制限するためのクォータシステムの実装

Question

時間/日/何時でもユーザーを25k /リクエストに制限したいと考えています。

私の最初のアイデアは、単にmysqlを使用して、ユーザーのテーブルにリクエストを保存する列があり、ユーザーがリクエストするたびにこのカウンタを増やすというものでした。このアプローチの問題は、時には列に同時に書いてしまうことがあり、mysqlからデッドロックが発生することです。これは実際には良いことではありませんか？

別の方法として、列のカウンタをインクリメントする代わりに、別のテーブルにログレコードを挿入して、指定したタイムパンでこれらのレコードを数えることができます。クエリが遅すぎる可能性があります。

RDBMSを使用する場合は、各リクエスト時にデータベースからユーザークォータを数えなければならないという点を考慮する必要があります。これは、前述のいずれの方法でも時間がかかることがあります。

私の2番目のアイデアは、redis/memcached（どちらか選択肢が不明であるか、どちらが速いのかわからない）を使用してリクエストカウンタをそこに格納すると考えました。これは、RDBMSよりも確かに高速ですが、カウンターを照会およびインクリメントするのに十分速いでしょうが、膨大な量のデータを試していないので、まだそれがどのように実行されるかわかりません。

私は第3の考え方で、マップ内のメモリにクォータデータを保存します。map[int]intのようなものです。ここでキーはuser_idで、値はクォータの使用量になり、マップアクセスをミューテックスで保護します。これはすべての中で最も速い解決策ですが、何らかの理由でアプリがクラッシュした場合、特定のユーザーのリクエスト数に関連するすべてのデータが失われた場合はどうしますか？ 1つの方法は、クラッシュ時にアプリをキャッチし、地図をループしてデータベースを更新することです。これは実現可能ですか？

上記のいずれかが適切なアプローチであるかどうかはわかりませんが、私は提案を受けています。

Answer 1

同時に行を更新しようとすると、「get a deadlock from mysql」という意味がわかりません。しかし、単純なupdate rate_limit set count = count + 1 where user_id = ?あなたが望むことを行う必要があります。

私は個人的にはレート制限を行うためにレディスで大きな成功を収めています。あなたのユースケースに対する適切なアプローチを理解するのに役立つ多くのリソースがあります。ここで私はちょうどそれを正しく扱うように見える1つです：https://www.binpress.com/tutorial/introduction-to-rate-limiting-with-redis/155。パイプライン（MULTI）またはLuaスクリプトを使用すると、さらにうまくいくかもしれません。

Answer 2

map[int]intはRDBMSに保存することも、ファイルシステムの時刻と遅延機能で保存することもできます。あなたはredisの代わりにそれをキャッシュとして使うことさえできます。確かに、リクエストごとにサードパーティサービスへの接続よりも速いでしょう。また、ユーザー側のカウンターを単にクッキーに保存することもできます。スマートなユーザーは、クッキーをクリアすることができますが、それはまったく危険なので、クッキーにいくつかの識別情報を提供して、不快なものを取り除くこともできます。