ビルド中に私のサイトにnofollowとnoindexを追加したいと思います。クライアントは私がこれらのルールを使用するよう要求しています。`nofollow、noindex`をrobots.txtのすべてのページに追加するには？
私は
<meta name="robots" content="noindex,nofollow">
の認識しています。しかし、私は唯一のrobots.txt、ファイルへのアクセス権を持っています。
robots.txtファイルでnoindex, nofollowのルールを適用するために使用できる正しいフォーマットを知っている人はいますか？
noindex nofollowは、サイトが検索エンジンでクロールしないようにすることを意味します。
はそう単純にそれがにnoindexとnofollowのを意味robots.txtの User-agent: * Disallow: /
にコードを置きます。
標準でないNoindexフィールド、which Google (and likely no other consumer) supported as experimental featureがあります。
robots.txt仕様に従うと、インデックス作成を禁止することも、robots.txtを使用してリンクをたどることもできません。まだ開発中ですサイトについては
は、十分なものでなければならないのrobots.txtを使用して、まだインデックスが作成されていない、とクロールされるページからのバックリンクを得ることはありません。# no bot may crawl
User-agent: *
Disallow:/
ページの場合からサイトは、すでにインデックス化、および/またはそれへのリンクをクロールすることができる他のページは、あなたがnoindexを使用する必要があれば、HTMLで指定されたが、also as HTTP headerすることができないだけでいるされています
X-Robots-Tag: noindex, nofollow
クロールやインデックスがありません同じ。たとえば、Google検索ではページがクロールされない可能性があります（robots.txtでは許可されていないため）。 – unor