Robots.txtはありませんが、noindexにしたいページ

私はHTML/PHP/CSSサイトを持っていて、とてもシンプルで、robots.txtファイルはありません。サイトのインデックスが作成されています。Robots.txtはありませんが、noindexにしたいページ

今、私は必要なもの用のページを作成しました。そのページをnoindexにしたいと考えています。

robots.txtファイルを作成する必要がありますか、robots.txtを作成しなくても簡単な方法がありますか？

また、私が尋ねる前に、このためにグーグルをした、と私は<head>コードの下で、あなたのページに次のコードを置くように指示記事に出くわした：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

私はそれをしました。しかし、私はここにページをチェックした後：http://www.seoreviewtools.com/bulk-meta-robots-checker/

それは言う：メタロボット：見つからない説明：インデックスまたはサービングが検出されるための制限はありません。

それでは、どうすればそのページをnoindexにできますか？

出典

2016-09-26 Overloard

ボットはrobots.txtやロボットのメタタグに従わなくてもいいです - どんなボットを止めようとしていますか？ – nogad

ほとんどのWebクローラは、上記のメタタグに従います。このツールは ''のように動作します。 – Carl

メタタグは問題ありませんが、すべてのボットがそれをダウンロードしてしまうので、あなたはまだ帯域幅を無駄にしています。 robots.txtを作成するだけです。スパイダーはいつでもそれを取得しようとしているので、あなたもそれを利用するかもしれません。 –

robots.txtファイルを使用することが最善の方法ですが、検索ロボットがそのページのインデックスを作成しないという保証はありません。私は、すべての尊敬できる検索エンジンがそのファイルの制限に従わないのであれば、ほとんどを信じていますが、そこにはたくさんの他のボットがあります。あなたはそれが、どこかのページに何の検索エンジンの意志インデックスをリンクしていないしていない場合は、言っ

- 少なくとも理論的には：あなたや他の人がそのページにアクセスし、自分のブラウザまたは拡張子がインデックス作成のためにそのページを送信する場合、とにかく索引付けされることになります。

出典

2016-09-26 19:46:37 borfast

Robots.txtはありませんが、noindexにしたいページ

答えて

関連する問題