S3スケーリングの既知の制限はありますか?バケットがエラーを返すようになった人は誰もいなくなりました。 S3は読み込みに最適化される可能性があるため、私は読み込みよりも書き込みに少し興味があります。誰かがAmazon S3バケットの上限または上限に達しましたか?
答えて
にもよくある質問What happens if traffic from my application suddenly spikes?に取り組むようエリックさんのコメントは、概念レベルですでにそれを合計:
アマゾンS3は、任意の インターネットアプリケーションのトラフィックを処理するためにゼロから設計されました。 [...] Amazon S3の膨大な規模により、 の負荷が均等に分散されるため、個々のアプリケーションにトラフィックの急上昇の影響を受けないようになります。もちろん
、あなたはまだ可能性のある問題とチューン繰り返し減速エラーについて[あなた]アプリケーション(Amazon S3 Error Best Practicesを参照)を考慮する必要があります任意の分散システムと同様に
、S3はあり故意または意図しないリソースの過剰消費を検出し、それに応じて が応答する保護メカニズム。 高い要求レート がこれらのメカニズムの1つをトリガーすると、スローダウンエラーが発生する可能性があります。リクエスト率を下げると、このタイプのエラーが減少または解消されます。 一般的に言えば、ほとんどの ユーザーはこれらのエラーを定期的に経験しません。しかし、あなた は、より多くの情報を希望または高または予期しない 減速エラーが発生している場合は、お求めはAmazon S3の開発者フォーラム http://developer.amazonwebservices.com/connect/forum.jspa?forumID=24 に投稿したり、AWSプレミアムサポート http://aws.amazon.com/premiumsupport/にサインアップしてください。 [重点鉱山]
まれ、これらのスローダウンがもちろん起こるんが - ここに(かなりかかわらず日付)問題を示すAWS team responseです:とき
Amazon S3は、このエラーが返されますリクエストの処理速度が他の のお客様のサービス低下の原因となる場合があります。 このエラーはほとんど発生しません。 を受け取った場合は、を指数関数的に戻す必要があります。このエラーが発生すると、 リソースが反応的に再調整/割り当てされ、 高い要求レートをよりよくサポートできます。結果として、この エラーがスローされる期間は比較的短くなければなりません。 [重点鉱山]
書き込み最適化対読みについてあなたの仮定は、そこにも確認されています
このエラーがtriggedされた閾値が変化し、依存し、 部分には、上要求タイプとパターン一般的には、 はgets対putsでより高いRPを達成することができ、 キーの数が少ない場合と多数のキーを取得する場合があります。 多数のキーを取得または入力する場合、キーが英数字の順序である場合は より高いrpsを達成することができます。ランダム/ハッシュの場合は の順になります。
- 1. リストビュー上限と下限はユーザーが上限に達したときに対話しません
- 2. karaf + pax-jdbc接続プールが上限に達しました
- 3. Facebook申請リクエストの上限に達しました
- 4. FirebugでFirebugのリクエストサイズの上限に達しました
- 5. Google Play保存ゲーム - API上限に達しました
- 6. 「フィードアクションリクエストの上限に達しました」 - Facebook SDK
- 7. わかりません "(#4)ユーザーリクエストの上限に達しました"
- 8. HTMLパーサ:リダイレクトの上限に達しエラー
- 9. Laravelの上限ですが、上限になると上限を返します
- 10. Drupalサイト:mysqlクエリが終了せず、エントリリソースの上限に達しました
- 11. ビッグコマースはリソースの上限を制限しました250
- 12. ソフトプライベートメモリの上限を超えました
- 13. Amazon S3の権限
- 14. DataflowジョブはBigqueryのクォータと制限に達しましたか?
- 15. EXCEEDED_ID_LIMIT:emptyRecycleBin IDの上限に達する:200
- 16. スコアの上限に達すると、プログラムは終了しませんか?
- 17. Amazon CloudFront vs. S3 - >ドメイン別アクセスを制限しますか?
- 18. TYPO3 v7.6.19:solr PHP警告:ストリームを開けませんでした:リダイレクトの上限に達しました
- 19. Magentoが商品コレクションに上限を設定しました
- 20. Amazon S3のアクセスの制限
- 21. RailsがAmazon S3バケットにアップロード
- 22. SQLデータベースの行数を制限し、限界に達したときに行を上書きする方法は?
- 23. 自動インクリメントの値が上限に達した場合の対処方法
- 24. Amazon Alexa Skill S3の制限
- 25. Amazon s3とバケット
- 26. 集計クエリの上限を超えましたか?
- 27. Rubyで上限または上限を使用する方法は?
- 28. S3バケットのサイズを制限できますか?
- 29. URLをリダイレクトするためのAmazon S3バケット上のサーバーの設定
- 30. Railsはamazonバケットs3 aws-sdkからオブジェクトをダウンロードします
Amazon S3は、毎秒何十万件ものリクエストを処理します(http://aws.typepad.com/aws/amazon_s3/)。バケットあたりのオブジェクトの数に制限はないので、バケットレベルで並行性の制限があるとは限りません。 –
参考までに、15日以内に1000万を超えるファイルをアップロードしました.30の同時スレッドがあります。制限/問題が発生していませんでした。 – Benjamin