2つのイメージファイルが同じであるかどうかを確認する方法はありますか？

Question

私は自分の個人的な使用のためにWebサイトから画像ファイルを定期的に取得するために書いたPerlスクリプトを持っています。次に、これらのイメージをフォルダに保存します。これらのイメージファイルは、フェッチからフェッチまでかなり頻繁に同じものです。私はそれを回避することができれば、重複を保存しないでください。

私の質問：同じものかどうかを比較/確認するにはどうすればよいでしょうか？

私の唯一の本当の考え方は、ファイルハンドルを既存のものにオープンすること、md5はmd5をフェッチして$ response-> contentをmd5して比較することです。それは働くだろうか？

良い方法がありますか？

編集：

うわー、すでにたくさんの素晴らしい提案があります。このスクリプトがcronで毎日実行されていると伝えれば助けになりますか？私。それは毎日全く同じ時刻に常に実行されることが保証されていますか？また、私は最後に変更されたヘッダーをいくつか見ていますが、100％正確ではありません。つまり、イメージがもっと最近のものであることがわかってから1週間以上前に最後に変更されたものがあります。それよりも。それ以来、画像ファイルそのものがサーバー上で変更されていないので、それは私にはそれほど助けにはならないと思っています...

Answer 1

• 開いておらず、保存された画像を毎回ハッシュ - あなたはそれを格納する際、画像と一緒にハッシュを隠しておきます。サイズも比較する。

• 直ちにGETリクエストを発行しないでください。最初にHEADを実行し、サイズ、最終更新日、およびすべてのEtagsを前回のものと比較してください。

Answer 2

md5は動作しますが、ファイル。 HTTPヘッダー、コンテンツ長、キャッシュ制御指令、ETagなどに有用なメタデータはありますか？

Answer 3

これは正しいといえます。 ファイルをどのように取得しているか、どのくらいの頻度でHTTP 304 Not Modifiedをチェックしてダウンロードを保存することができるかによって異なります。

Answer 4

は、あなたがこのために使用できるHTTPヘッダの数があります - あなたは最後のファイルを検索し、時間を節約する場合は、

If-Modified-Since: <date> 

あるいは、もし条件付きGETを行うことができますサーバが応答でのEtagヘッダを返し、あなたがイメージ、（あるいはあなたがそのイメージのために見ているのetagsのすべてのコレクション）とそれを格納し、実行することができます。

If-None-Match: <all of your etags here> 

サーバは条件付きサポートしている場合取得、次によ体のない「304 Not Modified」レスポンスが表示されます。

Answer 5

また、便利なfdupesツールがあります。どのシステムを使用しているのか、そのツールをどのようなシステムで構築できるのか分かりません。