robots.txtの

Question

に許可し、禁止

http://www.robotstxt.org/orig.htmlは言う：

のDisallowを：/ヘルプには、両方の/help.htmlを禁止し、今

を/help/index.html、google.com/robots。リストTXT：robotparser.pyを実行する際に

Disallow: /search 
Allow: /search/about 

、それはグーグルrobots.txtで上記のケースの両方にfalseを返します。

誰かが私に説明してくださいだろう、Allow: /search/aboutでAllowの使用は、それはそれ以上Disallowエントリに基づいてfalseを返すよう何ですか？

Answer 1

robotparserとそのPython 3に対応するモジュールドキュメントurllib.robotparserのモジュールドキュメントには、original specificationが使用されています。この仕様にはAllowという指令はありません。これはnon-standard extensionです。いくつかの主要なクローラーがそれをサポートしていますが、コンプライアンスの要求をサポートする必要はありません（明らかに）。