robots.txtの具体的な除外

Question

現在、私のrobots.txtは以下の

#Sitemaps 
Sitemap: http://www.baopals.com.com/sitemap.xml 

#Disallow select URLs 
User-agent: * 
Disallow: /admin/ 
Disallow: /products/ 

私はtaobao.comからデータの上に引っ張ると、自動的にそれが重複の多くをもたらし、低翻訳して私の製品は、重複したコンテンツの多くを持っています私はすべてのことを禁止しています。しかし、私は手動で特定の製品のタイトルを変更し、それらをデータベースに再保存し、適切な翻訳をホームページに表示して、それでもまだ/products/に保存され、ホームページから削除すると永遠に失われます。

更新された翻訳を使ってホームページに保存しても、Googleによってインデックスが作成されるようにすることは可能でしょうか、手動で更新された製品のディレクトリを変更する必要がありますか？

Answer 1

一部のボット（Googlebotを含む）はAllowフィールドをサポートしています。とにかくクロールを許可する必要のあるパスを指定することができます。

クロールする商品ごとにAllow行を追加する必要があります。

User-agent: * 
Disallow: /admin/ 
Disallow: /products/ 
Allow: /products/foo-bar-1 
Allow: /products/foo-foo-2 
Allow: /products/bar-foo 

しかし、その代わりに、あなたの製品ページのをクロールを禁止する、あなたはインデックスを禁止したい場合があります。その後、ボットはあなたのページにアクセスしてリンクをたどることができますが、そのページを検索インデックスに追加することはありません。

各製品ページ（head）に<meta name="robots" content="noindex" />を追加して、インデックスを作成する各製品ページに対して削除します（またはindexに変更してください）。それが簡単な場合は、対応するHTTPヘッダーもあります。