wordpress blogのrobots.txt（disallow/blog/page/...）。

Question

私は非常に素朴な質問があります。私は答えを見つけることができません。 私はワードプレスのブログを持っています。 すべての投稿が複数のページに記載されています。

mydomain.com/blog/ 
mydomain.com/blog/page/2/ 
... 
mydomain.com/blog/page/N/ 

ので、私は、クローラが特定のページにあったが、それをそれぞれの上にリンクされているすべての記事「/ページが/」、続くことができるようになります クロールをさせたいと何を「記憶」したくありません私は

disallow: /blog/page/ ? 

またはどのように私はポストは、特定のページにありますが、それでも、それはすべての記事をクロールしてみましょうどのようなクロール禁止しないと認めないページのクロールのリンク？

Answer 1

robots.txtでこれを行うことはできません。あなたのサンプルDisallowラインは、クローラを言うだろうあなた/ページ/ページのすべてにNOINDEX 『robots meta tag「今まで/blog/page/で始まるURLを要求しないでください。あなたはおそらくやりたい

何追加です』。告げることGoogleは「これらのページのインデックスを作成しない」が、それらをクロールして個々のブログエントリへのリンクを得ることを許可する。