検索エンジンがウェブサイトのディレクトリ全体にインデックスを作成できないようにすることはできますか？

Question

私は、私の実際のウェブサイトに新しい機能、変更、および内容をドラフトするために使用するステージングサイトを持っています。

は、私は、これはインデックスを取得する必要はありませんが、私は少し楽に解決策を望んでいる私のサイト上のすべてのページに以下を追加するよりも：

<meta name="robots" content="noindex, nofollow"> 

私はこれを行うことができます.htaccessファイルを使用してドメインにパスワードを追加する方法と似た方法ですか？何をしたい

Answer 1

robots.txt standardはこれを意味します。 .htaccessファイルを経由しての例（あなたはrobots.txtの中にURLを入れる場合は、おそらくより簡単に発見し、）検索エンジンはこの従いますが、もちろん内容はまだ公開されます

User-agent: * 
Disallow: /protected-directory/ 

、そのパスワード保護はオプションです。 、あまりにも。

Answer 2

ファイルは、サーバーのルートやコンテンツのようなものであるべきであるべきrobots.txt file

です。

User-agent: * 
Disallow: /mybetasite/ 

これは丁寧に、すべての行儀そのディレクトリの下のページ、検索エンジンは尊重ないインデックスに、検索インデックスサービスを依頼します。

Answer 3

public_htmlディレクトリにRobots.txtというファイルを作成します。

それに次のコードを置き：

User-agent: * 
    Disallow: /foldername/ 

フォルダ名は、あなたがあなたの全体を拒否するために、ルートディレクトリにある必要がありrobot.txtで

Answer 4

入れ、次のコードをブロックしたいディレクトリの名前です。サイトからのインデックス作成。

User-agent: * 
Disallow:/

Answer 5

SEOのためのブロック特定のファイル： URLの末尾にマッチ指定するには、使用します$。

ユーザーエージェント：* のDisallow：

/*.xls$参考：確かに http://antezeta.com/news/avoid-search-engine-indexing

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&topic=1724262&ctx=topic

Answer 6

、robots.txtたとえば、.xlsで終わるすべてのURLをブロックしますサイトのルートに行く方法です。

User-agent: * 
Disallow: /test_directory_aaa/ 
Disallow: /test_directory_bbb/ 
Disallow: /test_directory_ccc/ 

---

あるいは、.htpasswdルート取るために：：、.htaccessファイルで

を追加します。

AuthType Basic 
AuthName "Marty's test directory" 
AuthUserFile /test_directory_aaa/.htpasswd 
AuthUserFile /test_directory_bbb/.htpasswd 
AuthUserFile /test_directory_ccc/.htpasswd 
require valid-user 

を（OPが示唆するように）、複数のエントリを追加し、次のように行うには

です。htpasswd、追加：

username1:s0M3md5H4sh1 
username2:s0M3md5H4sh2 
username3:s0M3md5H4sh3