robots.txtに従うにはどうすればいいですか

Question

私はしばらくの間、サイトをクロールするアプリを作っています。クロール中のサイトのrobots.txtに従いたいと思います。これはどうやって始めるのですか？これを行う方法はありますか？

ありがとうございます。

Answer 1

This articleが詳しく説明しています。