ローカルファイルがboto3でダウンロードせずにS3オブジェクトと同じかどうかを確認するにはどうすればいいですか？

Question

ローカルファイルがダウンロードされずにS3に保存されたファイルと同じかどうかを確認するにはどうすればよいですか？大きなファイルを何度も何度もダウンロードしないようにする。 S3オブジェクトは電子タグを持っていますが、ファイルがアップロードされた場合は計算が難しく、このquestionからの解決策は機能していません。不要なダウンロードを避ける簡単な方法はありますか？

Answer 1

私はちょうど最後の修正された時間を比較して、それらが異なっているならダウンロードします。さらに、ダウンロードする前にサイズを比較することもできます。あなたはすぐに在庫を必要としない場合、あなたはその後、s3 storage inventoryを生成し、将来の使用のためにデータベースにインポートすることができ

import boto3 
import os.path 

def isModified(bucket, key, fname): 
    s3 = boto3.resource('s3') 
    obj = s3.Object(bucket, key) 
    return int(obj.last_modified.strftime('%s')) != int(os.path.getmtime(fname)) 

Answer 2

小さなローカルデータベースを使用できますか？テキストファイルですか？

• S3オブジェクトを1回ダウンロードします。そのETagではありません。
• 必要な署名を計算します。
• （ETag、署名）のペアを「データベース」に入れます。

次回、ダウンロードを続行する前に、「データベース」でETagを参照してください。存在する場合は、既存のファイルの署名を計算し、ETagに対応する署名と比較します。一致した場合、リモートファイルは同じファイルになります。

異なるチャンクで同じファイルが再アップロードされ、ETagが変更される可能性があります。これが可能性が高い場合を除き、偽陰性を無視してそのまれなケースでファイルを再ダウンロードすることができます。

Answer 3

：bucket、keyとローカルファイルfname考えます。

here for normal file and huge multipart fileのようにローカルファイルEtagを計算します。