robots.txtでサイトマップを許可しないといけませんか？ robot.txt自体？

これは非常に基本的な質問ですが、私はどこでもオンラインで直接回答を見つけることはできません。 googleで自分のウェブサイトを検索すると、sitemap.xmlとrobots.txtが検索結果として返されます（もっと有用な結果の中で）。防ぐために、これは私が？：robots.txtでサイトマップを許可しないといけませんか？ robot.txt自体？

Disallow: /sitemap.xml 
Disallow: /robots.txt

をrobots.txtのために以下の行を追加する必要がありますこれは、サイトマップやロボットファイルにアクセスし、検索エンジンを停止しないのだろうか？

また、GoogleのURL削除ツールを使用する必要がありますか？

出典

2011-07-01 RLJ

robots.txtのインデックス作成からクローラを停止することはありません。ただし、Googleマップや他の検索エンジンを指定してサイトマップを直接表示していないと、インデックス作成が失われる可能性がありますあなたのsitemap.xmlを拒否するユーザーにサイトマップを表示させないようにする特別な理由はありますか？私は実際には、Googleのクローラに特異的な次の操作を行います。

Allow:/
# Sitemap 
Sitemap: http://www.mysite.com/sitemap.xml

出典

2011-07-01 18:53:01 Daxmax

私は、サイトマップファイルを見てからユーザーを防ぐためにしたくないが、私はちょうどそれが検索結果に来る必要はありません。これを行う方法はありますか？ robots.txtだけでなく？私は基本的には、ウェブサイトのコンテンツを含む検索結果に「役立つ」URLが表示されるようにしたいだけです。 – RLJ

あなたのサイトマップとrobots.txtファイルがあなたのコンテンツより多くのヒットを得ている場合は、その理由を疑問に思う必要があります。あなたのコンテンツは、常にXMLファイルよりもユーザーを引き付けるべきです。あなたが本当に心配しているならば、バックエンドのサーバkungfuを使ってバックエンドの言語やWebサーバを使ってX-Robotsタグと呼ばれるものをサーバヘッドレスポンスに置くことができます。 http://yoast.com/x-robots-tag-play/ – Daxmax

HTMLページなどの公開リソースからリンクされていない限り、サイトマップをインデックスに登録しません（結果のサイトマップを返す）。 robot.txtファイルにのみリストすると、インデックスは作成されません。 Sitemapのクロールを許可しないと、クロールして使用することができなくなります。 – methode

robots.txtでサイトマップを許可しないといけませんか？ robot.txt自体？

答えて

関連する問題