私はスタイルのURLでサイトを持っているrobots.txtの

Question

にいくつかのURLを無効にします。

https://www.example.com/16546/slug-title 

これらのURLを無効にするには、robots.txtの中に追加するためのルールは何ですか？

私はパブリックURLを維持したいhttps://www.example.com/terms。

Answer 1

robots.txtでワイルドカードを使用できますが、それはあなたのURLフォーマット/<id>/<slug>では機能しません。あなたはフォーマット/article/<id>/<slug>を使用する場合は

それは（テストしていない）で仕事ができる：

Disallow: /article 

Answer 2

あなたは罰金している場合、そのパス0で始まるすべてのURLブロッキング - 9を、あなたが使用することができます。

Disallow: /0 
Disallow: /1 
Disallow: /2 
Disallow: /3 
Disallow: /4 
Disallow: /5 
Disallow: /6 
Disallow: /7 
Disallow: /8 
Disallow: /9 

これは

https://www.example.com/1 

のようなURLをブロックします。

https://www.example.com/165/foo