wget/curlファイルの内容が変更された場合、HTMLファイルを上書きする方法は？

Question

私は、Webサイトに多数のhtmlファイルをスクラップするためのスクリプトを作成していますが、再利用可能で速くしたいと思っています。だから、もし私がもう一度それを再実行すると、htmlファイルの内容が異なっているかどうかをチェックする必要がありますし、違う場合はhtmlをダウンロードします。

これは可能ですか？

wget --no-clobber 

しかし​​のみチェックをファイルが存在する場合：

私が使用しようとしました。

Answer 1

curl（curl --head）を使用してURLにHEADリクエストを行います。サーバーがLast-Modifiedヘッダー（つまり、Last-Modified: Tue, 15 Nov 1994 12:45:26 GMT）を返す場合は、ファイルの最終更新日時と比較してさらに決定します。そのヘッダーが応答にない場合は、ダウンロードする必要があります。