2016-08-18 11 views
0

私が列挙された/インデックス付けされてから私のウェブサイトを阻止しようとしています:ヘッダーx-robotsがnoindexに設定されている場合、robots.txtを作成する必要がありますか?

私は.htaccessファイルに設定した:

Header set X-Robots-Tag "noindex, nofollow" 

robots.txtのを設定することも必要ですか?

User-agent: * 
Disallow:/

robots.txtを追加しても問題ありませんか? X-ロボットタグが設定されている場合は、私はすべてのクロールを削除する必要があり、答えを見つけることが

答えて

0

はrobots.txtのに許可していません:

ロボットのメタタグとX-ロボットタグのHTTPヘッダーが 発見されますURLがクロールされます。ページが robots.txtファイルのクロールを許可されていない場合、 ディレクティブのインデックス作成または配信に関する情報は検出されず、無視されます。 インデックス作成または配信指示に従わなければならない場合は、 を含むURLのクロールを禁止することはできません。

via:https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag#combining-crawling-with-indexing--serving-directives

関連する問題