Robots.txt：このワイルドカードルールは有効ですか？

Question

簡単な質問です。私は追加したい：

Disallow */*details-print/ 

基本的には、この例では/foo/bar/dynamic-details-print --- fooとbarの形でルールを遮断することも、完全に動的にすることができます。

私は、これは単純なことだろうと思ったが、その後www.robotstxt.orgにこのメッセージがあります：

注グロブと正規表現がユーザーエージェントまたは禁止するラインのいずれかでサポートされていないことも。 User-agentフィールドの '*'は、「任意のロボット」を意味する特別な値です。具体的には、「User-agent：bot」、「Disallow：/ tmp/*」、「Disallow：* .gif」のような行は使用できません。

これはできません。検索エンジンはそれに従っていますか？ - または私はrobotstxt.org上のテキストを誤解してい

Disallow: /ajax/ 
Disallow: /*/log 
Disallow: /*/rss 
Disallow: /*_POST 

ので、右である：しかし、その後、Quora.com's robots.txtファイルがありますか？

ありがとうございます！

Answer 1

答えは「依存します」です。 robotstxt.orgで定義されているrobots.txt "standard"は、ボットがサポートすることが期待される最小のものです。 Googlebot、MSNbot、Yahoo Slurpはいくつかの一般的な拡張機能をサポートしていますが、他のボットがサポートしていることは実際には分かりません。何人かは彼らが何を支持し、他の人はそうではないと言う。

一般的には、あなたが書いたワイルドカードを主要な検索エンジンのボットがサポートすると予想され、そこにあるワイルドカードは動作するように見えます。 these robots.txtバリデータの1つ以上を実行したり、GoogleのWebmaster toolsを使用して確認してください。