2012-01-30 9 views
6

S3スケーリングの既知の制限はありますか?バケットがエラーを返すようになった人は誰もいなくなりました。 S3は読み込みに最適化される可能性があるため、私は読み込みよりも書き込みに少し興味があります。誰かがAmazon S3バケットの上限または上限に達しましたか?

+0

Amazon S3は、毎秒何十万件ものリクエストを処理します(http://aws.typepad.com/aws/amazon_s3/)。バケットあたりのオブジェクトの数に制限はないので、バケットレベルで並行性の制限があるとは限りません。 –

+0

参考までに、15日以内に1000万を超えるファイルをアップロードしました.30の同時スレッドがあります。制限/問題が発生していませんでした。 – Benjamin

答えて

4

にもよくある質問What happens if traffic from my application suddenly spikes?に取り組むようエリックさんのコメントは、概念レベルですでにそれを合計:

アマゾンS3は、任意の インターネットアプリケーションのトラフィックを処理するためにゼロから設計されました。 [...] Amazon S3の膨大な規模により、 の負荷が均等に分散されるため、個々のアプリケーションにトラフィックの急上昇の影響を受けないようになります。もちろん

、あなたはまだ可能性のある問題とチューン繰り返し減速エラーについて[あなた]アプリケーション(Amazon S3 Error Best Practicesを参照)を考慮する必要があります任意の分散システムと同様に

、S3はあり故意または意図しないリソースの過剰消費を検出し、それに応じて が応答する保護メカニズム。 高い要求レート がこれらのメカニズムの1つをトリガーすると、スローダウンエラーが発生する可能性があります。リクエスト率を下げると、このタイプのエラーが減少または解消されます。 一般的に言えば、ほとんどの ユーザーはこれらのエラーを定期的に経験しません。しかし、あなた は、より多くの情報を希望または高または​​予期しない 減速エラーが発生している場合は、お求めはAmazon S3の開発者フォーラム http://developer.amazonwebservices.com/connect/forum.jspa?forumID=24 に投稿したり、AWSプレミアムサポート http://aws.amazon.com/premiumsupport/にサインアップしてください。 [重点鉱山]

まれ、これらのスローダウンがもちろん起こるんが - ここに(かなりかかわらず日付)問題を示すAWS team responseです:とき

Amazon S3は、このエラーが返されますリクエストの処理速度が他の のお客様のサービス低下の原因となる場合があります。 このエラーはほとんど発生しません。 を受け取った場合は、を指数関数的に戻す必要があります。このエラーが発生すると、 リソースが反応的に再調整/割り当てされ、 高い要求レートをよりよくサポートできます。結果として、この エラーがスローされる期間は比較的短くなければなりません。 [重点鉱山]

書き込み最適化対読みについてあなたの仮定は、そこにも確認されています

このエラーがtriggedされた閾値が変化し、依存し、 部分には、上要求タイプとパターン一般的には、 はgets対putsでより高いRPを達成することができ、 キーの数が少ない場合と多数のキーを取得する場合があります。 多数のキーを取得または入力する場合、キーが英数字の順序である場合は より高いrpsを達成することができます。ランダム/ハッシュの場合は の順になります。

関連する問題