robots.txtなしでロボットをブロックする方法

Question

robots.txtは、われわれのように、Webクローラ/ロボットによる特定のWebページ/セクションのインデックス作成を避けるのに役立ちます。しかし、この方法を使用するといくつかの欠点があります。1. Webクローラーがrobots.txtファイルを聞くことができない。あなたが保護したいフォルダを誰にでも公開しています。

クローラから保護したいフォルダをブロックする別の方法がありますか？これらのフォルダはブラウザからアクセスできるようにする（/ adminなど）ことを覚えておいてください。

Answer 1

要求の場合はUser-Agentヘッダーをチェックし、ヘッダーにロボットの名前が含まれている場合は403を発行します。これは、すべての正直なロボットをブロックしますが、不正なロボットはブロックしません。しかし、再び、ロボットが本当に正直だったら、それはrobots.txtに従うでしょう。