私が望むページだけをGoogleにインデックス登録する

Question

私は大きなサイト（40,000+ページ）を持っており、Googleがインデックスを作成しているページのレベルを最小限にしたい、つまり500ページしかインデックスを作成しません。

Noindex'ingページのオプションがあり、Noindex 39,500ページは私には分かりません。

私のRobots.txtファイルの例。 robots.txtの中

User-agent: * 
Noindex: /category/long-site-url-1/ 
Noindex:/
Noindex: /site-url-2/ 
Noindex: /site-url-3/ 

Sitemap: https://sitedomain/sitemap.xml 

Answer 1

Noindex/only an experimental featureなかった（と決して指定/文書化）されます。

<meta name="robots" content="noindex" /> 

X-Robots-Tag: noindex 

：影響を受けた各ページのHTMLに robots要素またはHTTPで X-Robots-Tagヘッダを送信する -

あなたはmetaを追加する必要があります