robots.txtを配置してクロールを防止する場所

Question

私はrobots.txtファイルを使用して、クローラが特定のページをクロールしないようにしています。私は/folder/myfolder/にmyfolderのすべてをクロールないようにしたいとき、私は/folder/myfolder/robots.txtでrobots.txtを入れて書くことができます。

User-agent: * 
Disallow:/

または私は/robots.txtでrobots.txtを入れて設定する必要があります。それを知っている

User-agent: * 
Disallow: /folder/myfolder/ 

を？

Answer 1

方法robots.txt作品は、URL文字列のオフであるので、あなたは、このような3つのディレクトリ深かったプロジェクト、持っていた場合：

Home/ 
    /directory/ 
    - file 1 
    - file 2 
    /directory2/ 
     - file 3 

---

この中に置く：

User-agent: * 
Disallow:/

をwww.yoursite.com /（別名サイト全体）のクロールを防止します

このようなものに入れて0

：

User-agent: * 
Disallow: /directory1/ 

は、あなたのdirectory1フォルダ内に存在するサイト/ディレクトリのいずれかをクロールしなくなります。この例では、file 1,file 2、directory 2はクロールされません。

---

は限り、あなたがそれを置くことができる場所として、私はいつも、私のホームディレクトリに、あなたのindex.htmlファイルを入れて同じ場所にそれを置きます。