Robots.txtがディレクトリ内のものと異なる

Googleがrobots.txtファイルをDisallow: /と読み込む理由を理解できません。Robots.txtがディレクトリ内のものと異なる

これは私がメインのルートディレクトリにある私のrobots.txtファイルに持っているものです：ブラウザでI桁はそれがDisallow: /を表示するかどう

User-agent: * 

Allow:/

しかし：http://revita.hr/robots.txt

私はすべてを試み、サイトマップを提出し、メタロボットのインデックスを追加し、<head>に従いますが、常に同じです。

アイデア？

出典

2017-01-27 Mara Barn

HTTP（→Disallow）の代わりにHTTPS（→Allow）でアクセスすると、別のrobots.txtファイルがあるようです。ところで

できるすべてがデフォルトであるため、あなたは

User-agent: * 
Allow:/

を述べる必要はありません。 Allowは、元のrobots.txtの仕様の一部ではないので、あなたの代わりにこれを使用することがあります：

User-agent: * 
Disallow:

はまた、あなたは、レコード内の空白行を持つべきではないことに注意してください。

出典

2017-01-28 01:49:59 unor

ありがとうございます。httpの代わりにhttpsでアクセスする場合、robots.txtをどのように使用することが可能ですか？私は試してみましたが、あなたが正しいと気付きましたが、ルートディレクトリにあるrobots.txtファイルが1つしかない場合はなぜ理解できません。 –

@MaraBarn：HTTPS robots.txtがnginxサーバによって提供され、HTTPS robots.txtがApacheサーバによって提供されるのに対し、レスポンスヘッダを見ると、HTTP robots.txtはnginxサーバによって提供されます。 HTTPのものは2014年11月に最後に修正され、2017年2月までキャッシュされます。そして、HTTPサーバーはそれを長い間キャッシュしましたか？ – unor

私はプロバイダに連絡して、尋ねます、ありがとう！ –

Robots.txtがディレクトリ内のものと異なる

答えて

関連する問題