2011-01-30 9 views

答えて

1

サイトのルートにrobots.txtというファイルを作成できます。フォーマットはこれです:

User-agent: (user agent string to match) 
Disallow: (URL here) 
Disallow: (other URL here) 
... 

例:

User-agent: * 
Disallow: /

は(すてき)ロボットあなたのサイト上ではないインデックスは何を行います。もちろん、ロボットの中にはロボットを完全に無視するものもありますが、それを尊重している人にとっては最良の方法です。

robots.txtファイルの詳細については、http://www.robotstxt.org/

をご覧ください。