私が列挙された/インデックス付けされてから私のウェブサイトを阻止しようとしています:ヘッダーx-robotsがnoindexに設定されている場合、robots.txtを作成する必要がありますか?
私は.htaccessファイルに設定した:
Header set X-Robots-Tag "noindex, nofollow"
robots.txtのを設定することも必要ですか?
User-agent: *
Disallow:/
robots.txtを追加しても問題ありませんか? X-ロボットタグが設定されている場合は、私はすべてのクロールを削除する必要があり、答えを見つけることが