robots.txtを使用している検索エンジンのURLを100ブロックブロック

-1

私はGoogleのインデックスに登録したくない約100ページを私は持っています... robots.txtを使ってブロックする方法はありますか？各ページを編集してにnoindexメタタグを追加するのは非常に面倒なこと.It'd ....robots.txtを使用している検索エンジンのURLを100ブロックブロック

私はブロックするすべてのURLが

www.example.com/index-01 ...のようになります.htmlを

www.example.com/index-02.html

www.example.com/index-03.html

www.example.com/index-04.html 。

。。。

わからないwww.example.com/index-100.html

が、次の仕事のようなものを追加することだろうか？

User-Agent: * 
Disallow: /index-*.html

出典

2017-06-16 Nikhil Phirke

ワイルドカードは '許可しないで動作しません：'ラインが、あなたは100 'のDisallow追加することができます：'ライン（各URLに1つ）。それをすることで何が問題になりますか？ – smarx

この質問は、ヘルプセンターで説明されているディスカッションの範囲内にないため、話題にはならないようです。 – Will

@smarxあなたは「Disallow」はワイルドカードでは動作しないというあなたの声明はどのような情報に基づいていますか？[この記事]（https://geoffkenyon.com/how-to-use-wildcards-robots- TXT/）？ –

Yes it will work using wildcard 

Ref : "https://geoffkenyon.com/how-to-use-wildcards-robots-txt"

出典

2017-06-16 06:16:31 Mamallan

私は見つけることができますが、Googleはそれらをサポートしていますが、標準ではなく、他のクローラでは必ずしもサポートされているとは限りません。 – smarx

いくつかのオンラインツールを使用すると、robots.txtルールがGooglebotでサポートされているかどうかを検証できます。https://technicalseo.com/seo-tools/robots-txt/ – Mamallan

Googleからのインデックス作成をブロックしたい、ありがとうございました。 –

robots.txtを使用している検索エンジンのURLを100ブロックブロック

答えて

関連する問題