noindexタグはボットがページ上のリンクをクロールするのを防ぎますか？

Question

noindexタグ<meta name="robots" content="noindex" />のページがある場合、そのページは検索結果に表示されないことがわかります。

ただし、ページのリンクは引き続きクロールされますか？

クロールする場合は、<meta name="robots" content="noindex, follow" />のように設定できますか？それは働くでしょうか？

Answer 1

noindexタグ<meta name="robots" content="noindex" />は、ほとんどの検索エンジンのWebクローラがサイトのページのインデックスを作成しないようにするために使用されます。

クローラはcontent="noindex, follow"タグを使用してページのインデックスを作成しませんが、残りのページをクロールします。

詳細については、こちらをご覧ください。http://www.robotstxt.org/meta.html