ウェブサイトの監視はどのように機能しますか？

Question

私は、変更のWebサイトをどのように監視し、その背後で使用されている概念が何であるかを理解しようとしています。 ウェブサイト全体をクロールし、クロールされたウェブページをデータベースの1つの店舗と比較し、ウェブページが更新されている場合は古いページをHTMLに上書きするか、存在しない場合はデータベースに保存するクローラを作成すると思います。 私の質問はここにあります： 1- 2つのWebページが同じ場合はどう比較できますか？私は文字でWebページの文字の同等の文字列を比較する必要がありますか？ 2ウェブサイト全体をクロールする必要がありますか？ウェブサイトのHTMLページのサイズが5Gバイトで、時間ごとにウェブサイトの変更を検出したいと考えて、毎時5Gbのデータをクロールしてダウンロードすると、多くの帯域幅を消費することになります。

私はコードを書くことができます、私はちょうどウェブサイトを監視するために使用される一般的な習慣を知りたいです。

ありがとう。

Answer 1

1つのオプションは、ページ全体をHTMLとしてではなく、データベースにページのハッシュを格納することです。これにより、保存されている値と比較して値を確認することができます。しかし、これを行うにはまだページを "読み"なければならないので、5GBのサイトではこれを行うために5GBを "ダウンロード"します。

私はページ、URL、最終更新日、コンテンツハッシュなどのメタデータだけを保持していると仮定していますが、なぜこれを行うのかは実際にはわかりません。

おそらく、MartinJonešが、ほとんどの場合、ページヘッダーを取得し、Last-Modificationパラメーターをチェックすることを示唆しています。

私はあなたが所有/運営しているサイトでのみこれをやっていると仮定しています。私のサイトをクロールして私の帯域幅の使用量をゼロにしてしまう、マーケティングのボットよりも嫌いなものは何もありません。彼らはちょうどそれの地獄のために私の帯域幅を食べている。