ユーザーがS3バケットにアップロードしたときに通知を受け取りますか？

Question

可能性の重複：
Notification of new S3 objects

私たちは、S3上のユーザーデータを保存するアプリを持っています。アップロードを処理するアプリケーションの部分は、データを処理する部分から切り離されています。場合によっては、アプリを一切経由せずにS3にデータを直接アップロードすることもできます（S3アカウントを持っていて、資格情報を提供している場合に起こります）。

S3バケットの内容が変わるたびに通知を受けることはできますか？何とか「このファイルが追加/更新/削除されました：foo」というメッセージが送信される可能性があります。

短く、バケットが最後に更新されたことを伝えるポーリングができるタイムスタンプがありますか？

私がこれらのことを行うことができない場合、唯一の選択肢はバケット全体をクロールして変更を探すことです。これは遅くて高価になります。

Answer 1

アップデート2014から11：

アランIllingはコメントで指摘するように、AWSは今SQSに自動的に転送することができるSNSへのS3からの通知を、サポートしています。http://aws.amazon.com/blogs/aws/s3-event-notification/

S3にも送ることができます独自のコードを直接実行するAWS Lambdaへの通知。 S3-> SNSの通知を予測

オリジナルの応答：

Amazonがこれをサポートしている場合、彼らはオブジェクトがバケットに追加された通知を送信するためにSNSを使用します。ただし、S3およびSNSでサポートされている唯一のバケットイベントは、Redundancy Redundancy Storage（RRS）オブジェクトのすべてのレプリカを失ったことをAmazon S3が検出したときに通知し、そのオブジェクトに対する要求を処理できなくなることです。

ここS3でサポートされているSNSのイベントのドキュメントです：ドキュメントが書かれている方法に基づいて

http://docs.amazonwebservices.com/AmazonS3/latest/dev/NotificationHowTo.html

、Amazonが追加する他の通知イベントのためのアイデアを持っているように見えます（新しいキーがいつ追加されたかを知るためのあなたのアイデアのように）。

Amazonで直接サポートされていないと仮定すると、オブジェクトをS3にアップロードするS3クライアントは通知をトリガする必要があります。そうでない場合は、何らかのポーリングを行う必要があります。

S3へのアップロードのカスタムイベント通知は、処理にほぼリアルタイムでアップデートしたい場合はSNSを使用して、通知を積み重ねて処理する場合はSQSを使用して行うことができますあなた自身のペースでキューの

ポーリングしている場合は、たとえば「未処理/ ...」というプレフィックスとそれに続く固有キーをクライアントにアップロードさせることで、リクエストする必要のあるキーの数を減らすことができます。ポーリングソフトウェアは、その接頭辞で始まるS3キーだけを照会することができます。処理する準備ができたら、キーを「処理中/ ...」に変更し、後で「処理済み/ ...」などに変更することができます。 S3のオブジェクトは現在、S3によって実行されるcopy + delete操作によって名前が変更されます。