Googleは私のウェブサイトで私のテストフォルダのインデックスを作成しました:(ウェブクローラを制限するにはどうすればいいですか）

Question

ヘルプヘルプGoogleは私のウェブサイト上のテストフォルダをインデックスに登録しました。 。。インデックスリンクや特定のフォルダから

Answer 1

は、テスト領域を保護robot exclusion file、またはいっそのパスワードを使用してrobots.txtファイルを使用して！あなたが他人に見せたくない部分を「保護する」ことは、背中の扉にサインをつけたようなものですは、「私はこのオープンを残してきたが、入って来ないでください」あなたはGoogle webmaster toolsにサインアップする場合は、それが彼らのクローラがアクセスできなくなりますことを確認しない場合:)

は、あなたが検索結果の削除を要求することができます。

Answer 2

使用robots.txtそのため

グーグル、またはチェックアウト：http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40360

Answer 3

クローラがコンテンツの一部をインデックスに追加しないようにする最善の方法は、サイトのルートにあるrobots.txtファイルを使用することです。私は彼がすべてを閲覧することができますクローラを言っている最初のブロックで

User-agent: * 
Allow:/
Crawl-delay: 5 

User-agent: * 
Disallow: /cgi-bin 
Disallow: /css 
Disallow: /img 
Disallow: /js 

：ここ

は一例です。

2番目のブロックには、彼が避けたいフォルダのリストがあります。

安全な方法ではない実際には、クローラが尊重しないため保護しています。

本当に保護したい場合は、認証を強制するために、これらのフォルダに.htaccessファイルがあるようにするのが最善の方法です。

Answer 4

注意！あなたは特定の場所から遠ざかるために "いい"ボット（グーグルのような）を言うことができますが、他のボットはその素晴らしいものを演奏しません。したがって、これを適切に解決する唯一の方法は、「パブリック」とはみなされない場所にいくつかの制限を加えることです。信頼できるIPアドレスへのアクセスを制限するか、ユーザー名/パスワード認証を追加することができます。

Answer 5

正しい答えは、公開コードのWebサイトにテストコードを入れないことです。なぜそれはあなたの展開の一部ですか？

Answer 6

Apacheを使用している場合：

の.htaccess

AuthUserFile //.htpasswd AuthGroupFile /dev/null AuthName "You must log in to access this development web site" AuthType Basic

<Limit GET>

require valid-user 

</Limit>

パスワードファイル（.htpasswdの）は、パスワードが暗号化されている

name:password

含まれています。 "htpasswd"を検索すると、パスワードを暗号化するための無料のプログラムがたくさんあります。

TRiG。