のrobots.txtやメタタグのロボット私はこの理解を確認する

：のrobots.txtやメタタグのロボット私はこの理解を確認する

この：Webページ

の<head>に<meta content="noindex, nofollow" name="robots" />は同じです：Robots.txt

で

Disallow: /example-page.html

右？

出典

2012-02-11 L84

@casperOne - これはどのようにトピックから外れているのですか？ Robots.txtに関するWeb開発に関する質問です。 – L84

in the <head> of a webpage is the same as:<head>については、example-page.htmlです。唯一の違いは、メタタグのボットに対する制限がある場合、そのページはスパイダーによって要求されることです。このページがサーバーサイドスクリプトによって生成され、表示された回数を数えたり、このページへのアクセスに関連するその他の情報（アクセスログなど）を収集する場合は、これが不可欠な場合があります。

ボット（通常の検索エンジンの有効なボット）は、ページにアクセスし、メタタグを読み取ってからインデックスを作成しません。robots.txtのレコードでは、ページのリクエストは一般的なスパイダーまたはUser-agentセクションに記載されているものrobots.txt。

出典

2012-02-11 03:46:27 Cheery

のrobots.txtやメタタグのロボット私はこの理解を確認する

答えて

関連する問題