1つのページまたはファイルからボットを禁止する方法

Question

1ページからボットを禁止し、他のすべてのコンテンツをクロールできるようにする方法。

私はここで尋ねるので、間違っていないことが重要であるため、他の場所で決定的な答えを見つけることができません。

これは間違いありませんか？

User-Agent:* 
    Disallow: /dir/mypage.html 
    Allow:/

Answer 1

Disallow行がすべて必要です。 "/dir/mypage.html"で始まるものへのアクセスはブロックされます。

Allow行は余分です。 robots.txtのデフォルトはAllow: /です。一般的には、Allowは必須ではありません。許可されていないものへのアクセスを無効にすることができるように、そこにあります。たとえば、 "public"サブディレクトリ内のイメージを除いて、 "/ images"ディレクトリへのアクセスを許可しないとします。次のように書いてください：

Allow: /images/public 
Disallow: /images 

ここでの順序は重要です。クローラーは「最初の一致」アルゴリズムを使用することになっています。 'Disallow'を最初に書いた場合、クローラは「/ images/public」へのアクセスがブロックされたとみなします。