Google Robots.txt Specificationには、ロボットのテキストURL http://example.com/robots.txtがドメインhttps://example.comに対して無効であると記載されています。おそらく逆もまた当てはまります。httpsへのリダイレクト後のhttpサイトのGoogle robots.txt
また、robots.txtのを要求したときにリダイレクトを以下について言うために、このあります
が3xx(リダイレクト)有効な結果を見つけることができるまで、
リダイレクトは、一般的に続きます(またはループを認識される)。制限された数のリダイレクトホップ(HTTP/1.0のRFC 1945では最大5ホップまで可能です)に従い、404として処理します。robots.txtの処理は、不許可のURLへのリダイレクトは未定義であり、推奨されていません。 2xx(フレーム、JavaScript、またはメタリフレッシュタイプのリダイレクト)を返すHTMLコンテンツに基づくrobots.txtファイルの論理リダイレクトの処理は定義されておらず、推奨されません。
httpでのすべてのリクエストがhttps上で同等のものに永続的にリダイレクトされるようにウェブサイトを設定します。 Googleはhttp://example.com/robots.txtを要求し、https://example.com/robots.txtへのリダイレクトに従います。このファイルはhttpサイトの有効なrobots.txtですか、これは元のリクエストだったか、またはhttpサイトに有効なrobots.txtがないとGoogleは考えますか?