のrobots.txt：私はこのような構造とのリンクを持っている与えられた "URLの深さ" にアクセスする

Question

をボットを禁止：

• http://www.example.com/tags/何とか
• http://www.example.com/tags/blubb
• http://www.example.com/tags/何とか/blubb（両方のタグに一致するすべてのアイテム）

google &は、URL内にONEタグを持つすべてのリンクをスパイダーしたいが、2つ以上のタグを持つURLではない。

現在、私は問題を解決するためにhtmlメタタグ"robots" -> "noindex, nofollow"を使用しています。

robots.txtソリューション（少なくともいくつかの検索ボットで動作します）がありますか、「noindex、nofollow」を続行して追加のトラフィックを生き延びる必要がありますか？

Answer 1

私はあなたがrobots.txtを使って行うことはできないと思います。 The standardはかなり狭いです（ワイルドカードはなく、トップレベルになければなりません）。

あなたのサーバーのユーザーエージェントに基づいてそれらを許可しないのはどうですか？