Robots.txtがすべてのhttps：//ページへのブロックアクセス

Question

https：//ページへのすべてのボットへのすべてのアクセスをブロックする構文は何ですか？私は今SSLを持っていない古いサイトを持っていて、すべてのhttps：//ページへのアクセスをブロックしたいです

Answer 1

私はそれが動作するかどうかわかりません、ロボットが/異なる要求を使用するならばわかりますrobots.txt異なるプロトコル。しかし、HTTPS経由でのリクエストに対しては別のrobots.txtを配信することができます。

したがって、http://example.com/robots.txtが要求された場合は、通常robots.txtをお届けします。 https://example.com/robots.txtが要求された場合は、すべてを許可しないrobots.txtをお届けします。