ウェブサイト全体で特定のURLにリンクしているページがあるかどうかを確認するにはどうすればよいですか？

Question

NortonのようなWeb保護機能のページでは、特定のブラウザの特定の訪問者に特定のhttp://something.abnormal.com/（サンプルURLのみ）にリンクしているため、当社のWebサイトが潜在的な危険性があると主張し続けているため、

私はページごとにサイトのページを精査しようとしていましたが、無駄です。

私の質問では、私たちのウェブサイトのページに「クロール」することができるサイトを知っていて、その中のテキスト、画像などが異常なURLにリンクしているかどうかを確認できます。

ありがとうございます！ :)

Answer 1

あなたが望むのは、「スパイダー」アプリケーションです。私は'Burp Suite'のスパイダーを使用しますが、無料で安くて高価なものがあります。

げっぷの良いところは、正規表現または動的なコンテンツにマッチするものになるかどうか、あなたはそれがサイト全体をスパイダーして、あなたが好きなのためにすべてのページを見てもらうことができているなど

Answer 2

あなたのウェブサイトの場合

wget -r -np -R gif,jpg,png http://www.example.com 

私はすべてのページ（画像を無視して）をダウンロードするために wgetを使用し、静的コンテンツページの少量で構成され、その結果に不審な​​URLのテキスト検索を使用します。あなたのウェブサイトがより複雑な場合、 httrackは、テキストのみのダウンロード用に設定する方が簡単かもしれません。