検索エンジンからサイトを非表示にするにはどうすればよいですか？

私はこれについてどのように行くのだろうと思っているだけの検索エンジンには表示されないように、サイトを隠そうとしていますか？検索エンジンからサイトを非表示にするにはどうすればよいですか？

2011-07-18 macroj

これは "あいまいなセキュリティ"または何か悪意のある行為ですか？ –

robots.txtファイルを使用しますhttp://www.google.com/support/webmasters/bin/answer.py?answer=156449別にパスワード保護をあなたのサイトに、あなたはこれらの行を追加することができますから

出典

2011-07-18 12:10:12 Aaron

また、サイト全体をパスワードで保護します。 – Chirag

このリンクによれば、「他のページがあなたのページを指している可能性があり、あなたのページがそのような方法でインデックスを取得してロボットを避けられるため、あなたのウェブページをGoogle検索結果から隠す手段としてrobots.txtを使用すべきではありません.txtファイル。あなたのページを検索結果からブロックする場合は、パスワード保護やnoindexタグやディレクティブなどの別の方法を使用してください。 https://developers.google.com/search/reference/robots_meta_tagをご覧ください。 –

robots.txtへ：

User-agent: * 
Disallow:/

これしないの非表示サイトではなく、むしろをボットにコンテンツをスパイダーしないように指示します。

出典

2011-07-18 12:10:37 Vlad

-1

robots.txtファイルを使用します。このコンテンツを持つサイトのルートにファイルを配置します。

User-agent: * 
Disallow:/

出典

2011-07-18 12:10:43 carlpett

-1

がnofollowWikipedia

出典

2011-07-18 12:10:55

を見てくださいあなたは何とかはrobots.txtを使用してリストされているサイトを減らすことができます。ただし、これはクローラの「好意」に依存しますが（一部のスパムロボットは、許可しない場所を明示的に表示します）。

唯一安全で信頼性の高いサイトリストを持たない唯一の方法は、悲しいことですがインターネットに掲載していません。

サイトにリンクしていないだけでは機能しません。クローラは、ブラウザの参照元やドメイン登録者など、さまざまな情報源から情報を取得します。だから、目に見えないようにするためには、あなたのサイトを訪問せず、ドメインを登録しないでください（IPアドレスを介してアクセスするだけです）。
そして、あなたがIPアドレスに基づいてあなたのウェブサーバを走らせれば、あなたはまだすべてのスパムロボットがランダムなアドレスを調べているのです。それはしばらく時間がかかりますが、彼らはあなたを見つけるでしょう。

あなたのサイトを保護するパスワードが機能し、効果的にアクセスできなくなります。（それはどういうことか分かりませんが）たとえば、Googleには何千ものACM論文が掲載されていますが、アカウントやログインなしでは見ることができません。

出典

2011-07-18 12:11:01 Damon

-1

サイトのウェブルートにコピーするrobots.txtファイルについては、http://www.robotstxt.org/robotstxt.htmlを読む必要があります。

出典

2011-07-18 12:11:02 Gedrox

すべての検索エンジンを拒否するrobots.txtを使用してください。彼らはすべての点は、robots.txtのように定期的にサーバーのログをチェックして、疑いのあるロボット/クローラの範囲から否定しない：

http://httpd.apache.org/docs/2.2/howto/access.html

出典

2011-07-18 12:11:40 marto