'User-agent：*'だけを含むrobots.txtの意味は何ですか？

Question

私はウェブサイトをクロールしようとしていますが、robots.txtのは、単に次の行があります。

User-agent: * 

それは私が彼らのウェブサイトをクロールあれば、それは気にしないことを意味していましたか？

Answer 1

はい、User-agent: *がrobots.txt内の唯一の行であれば、すべてをクロールできます。

行には、クロールしてはならないURLパス（先頭）をリストする機能があります。 robots.txtにDisallow行がない場合、何も許可されません。

つまり、robots.txtの作成者がエラーを起こした可能性があります。 User-agent行には、通常、Disallow行（またはAllowなどのようなその他の行）が続きます。レコード¹を開始する点はありませんが、一致したユーザーエージェントには何も記載していません。

---

は、レコードが1つのまたは複数User-agent行で始まり¹、および空白行で他のレコードから分離されます。 User-agent: *は、そのrobots.txtの他のUser-agent行と一致しないすべてのユーザーエージェントに一致します。