メーリングリストの人の購読を禁止するようなURLをクロールするのを避けるにはどうすればいいですか？

Question

私は電子メールにURLをクロールするツールを書いています。私たちがクローラであることを訪問先のURLに伝える方法があるので、ユーザーはメーリングリストから購読または購読を解除したり、URL内の他の動作が取られたりすることはありません。

それ以外の場合は、何か行動を起こしたいと思っている人がURLを訪れるだけであることを一般的に知るスマートな方法はありますか？

Answer 1

一般に、

特定のURLに特に何かがあるかどうかを確実に推測する方法はありません（「退会」などのパターンを探すことはできますが、それはほとんど信頼できません）。

HTTPリクエストを行うときに設定できる魔法の「私はロボットです」というフラグはありません。

Answer 2

とにかく役立つ方法の1つは、サイトのルートにあるrobots.txtファイルに従うことです。

サイト作成者は、クローラが迷惑にならないように、この設定を行う必要があります。

スチュワート。