RobotParserがこの結果をブロックするのはなぜですか？

Question

私はPythonのrobotparserをしばらく使用していますが、うまくいきます。私は非常に寛容探してrobots.txtファイルをウェブサイトに出会っ今朝：

User-agent: * 
Disallow: /wp-admin/ 
Allow: /wp-admin/admin-ajax.php 

しかし、何らかの理由で、パーサはすべてのURLがブロックされていると考えています。

import robotparser 
rp = robotparser.RobotFileParser("http://newenglandreptileshop.com/robots.txt") 
rp.read() 
# Try any URL 
rp.can_fetch("*", "http://www.newenglandreptileshop.com") 

False 

拒否されない限り、すべてのパスのクロールは許可されます。私は別のrobots.txtパーサーを使用して私の前提を確認し、このサーバー上のほとんどのURLにアクセスできるはずであることに同意しました。そして、Googleにもインデックスが付けられています。

Pythonライブラリのバグのようです。どうしたの？

Answer 1

https://www.w3.org/TR/html4/appendix/notes.html#h-B.4.1.1とhttps://en.wikipedia.org/wiki/Robots_exclusion_standardにあるRobot Exclusion Standardによると、Allowレコードはありません。アクセスを許可するには、空のDisallowレコードを追加する必要があります。あなたがコントロールするドメイン上でrobots.txtをホストし、明示的な許可レコードを削除し、RobotParserがcan_fetchに対してTrueを返すかどうかを確認してください。