2012-01-15 9 views
6

私は共有ホストから起動しています。LinodeとAmazon S3のVPSを組み合わせて、数百万のjpegをホストしています。Amazon S3に移行した今、100万件以上のファイルを整理する方法はありますか?

私の大きな心配は、これらのすべての画像でいくつかの種類の正気を保っています。それの希望はありますか?私が理解しているのは、S3内の唯一のタイプの構造は100種類のバケットとバケットだけです。

何百万ものファイルをバケットに入れて助言しているものはありますか?

+0

- [バケツの制限と制限](http://docs.amazonwebservices.com/AmazonS3/latest/dev/BucketRestrictions.html) - [Amazon S3バケット制限](http://seocracy.com/2009/) 08/amazon-s3-bucket-limit /) – David

答えて

5

あなたはそれが記載され、Bucket Restrictions and Limitationsに気づくことがあります。

There is no limit to the number of objects that can be stored in a bucket 

私の経験では、単一のバケット内のオブジェクトの非常に大きな数はそのキーによって、単一のオブジェクトを取得するパフォーマンスに影響を与えないということである(ことは、一定の複雑さを示すように見える)。

List performance is not substantially affected by the total number of keys in your bucket 

しかし、私はときに私は(S3Foxのように)使用してきた最もS3管理ツールが恐ろしい遅い死をチョークして死んでしまうことを、あなたに警告しなければなりません。また、does not affect the speed of listing a given number of objectsオブジェクトの非常に大きな数を持つ

非常に多数のオブジェクトを持つバケットにアクセスしようとしています。非常に多くのオブジェクトにうまく対処しているようなツールの1つはS3 Browserです(彼らは無料版とPro版を持っていますが、私はそれらには関係ありません)。

"フォルダ"またはプレフィックスを使用しても、これらのポイントは変更されません(指定された数のオブジェクトが取得され、リストされます)。

+0

あなたは私の感情をかなり要約しています.1000万のファイルをアップロードするのは楽しいゲームですが、一度登場すれば、故障やリストツールはその大規模なリストを処理することはできません。 –

+0

確かにS3ブラウザをチェックアウトしてください。プレフィックス/フォルダは何らかの助けになることができますが、バケット内のオブジェクトの数は減らされません。実際には、別の種類のリスト(通常はファイル名/ URLを持つdbに記録)を実装し、そのオブジェクトを管理するのはあなた次第です。 –

+0

これは私がやろうとしていることです。自分のコードにバグがあると、文字通り、それを永久に支払わなければならないという考えが嫌いです。 –

関連する問題