GoogleのWebクローリングロボットからどのようなHTTP署名がありますか？

Question

すべてのHTTPデータが利用可能な場合、

Googleの検索エンジンロボットを認識するためには何の兆候がありますか？

Answer 1

How to verify googlebot - 公式の方法。

Answer 2

私の知る限り、Googleのクローラにはユーザーエージェントが「Googlebot」に設定されています。

他の検索エンジンプロバイダーは、通常、ユーザーエージェントで認識可能な名前に固執します。 http://www.jafsoft.com/searchengines/webbots.htmlのようなよく知られたエージェントの様々なリストがあります。

Answer 3

User-Agentヘッダは、それがから本当Googlebotのことを確認したいしたいと思いますすることで知られているSEボット

のリストを取得するには、Googleのボットに

チェックアウトuser-agents.orgウェブサイトを検出するのに十分でなければなりませんGoogleは、あなたは常に

C [NN] .googlebot.com

されているIP /ホストをチェックアウトすることができます10

[nn]は数字です。

Answer 4

まあ、IPアドレスのDNS逆引き参照をどのように維持できるかはわかりません。私はあなたがGoogleのユーザーエージェント文字列を偽装することについて懸念していた場合にのみこれを行うだろうが、これはほとんど起こりそうもない。記事が指摘しているように、それ自体もなりすましをすることができます。

あなたはそれらの既知のユーザエージェントを照合オフ最善だ：

Regex.IsMatch(ua, @"googlebot|mediapartners-google|adsbot-google", RegexOptions.IgnoreCase);