googlebot/bingbot/yahoobotがasp.net 2005 IIS6で自分のサイトをクロールするタイミングを教えてください。

Question

Googleがいつサイトをクロールしているかを知りたい場合は、自分自身にメールを送信することをおすすめします。

パフォーマンスに悪影響を及ぼさない方法はありますか？

Answer 1

ユーザーエージェントは、GoogleアプライアンスまたはGoogleの場合に応じて、gsa-crawler/Googlebotとして自分自身を識別します。 IISログファイルを監視または分析するコード（Request.ServerVariables("HTTP_USER_AGENT")）を書くことができます。

ボットが実際にGoogleであることを確認したい場合は、something to watch out forです。

私はASAPを送信する電子メールと少し待つことができる場合はファイルを解析する必要がある場合は、Webアプリケーションルートを選択します。

Answer 2

スパイダーがあなたのサイトをクロールしたときにIISログファイル（usu。c:\windows\system32\logfiles ...）が表示されます。ロギングを有効にして、ブラウザ/ユーザーエージェントをログに記録していることを確認してください。ブラウザエージェントは、とりわけ、ウェブブラウザ/ボット/そのページを要求したものの名前を含む文字列である。視覚的検査では、ほとんどのエントリが明らかです（例：googlebotには文字列 "googlebot"が含まれています）。

通知を受けたい場合は、15分または20分ごとに実行され、前回のスキャンからログエントリをスキャンし、前回の回答者が示唆したようにパターンマッチでメールを送信するタスクがあります。