ユーザーを第三者のウェブサイトに自動的にリダイレクトするサイトを訪れましたが、Googlebotのようなウェブクローラーはリダイレクトの対象ではないことに気付きました。このサイトにはWebクローラがアクセスできます。結果は次のようになります。Auth0へのサイトリダイレクトはGooglebotには適用されません
Googleはそのサイトの個々のページを検索結果としてリストしています。実際のコンテンツはGoogleのキャッシュから見ることができますが、検索結果のリンクをクリックすると、関連のないサイト（前述）にリダイレクトされます。
ユーザーがWayback Machineのようなアーカイブサイトを使用する場合、Wayback Machineのクローラによって取得されたサイトの実際のコンテンツを手動でキャッシュし、通常は静的キャッシュバージョンとしてサイトを参照できます。
私は、サイトがAuth0スクリプトをインポートして、これはAuth0とは何かを持っている疑いがあるが、私はAuth0が実際にどのように動作するかわかりません。次のように
私の質問は以下のとおりです。
これをやって、サイトの管理者であるどのように？彼はどのようにして通常のアクセスをブロックしたりリダイレクトしたりできましたが、意図的に行ってもそうでなくても、Webクローラーを通過させることができましたか？
サイト管理者はどのようにして自分のサイトにアクセスできますか。サイトでどのようなセキュリティ設定を実装した可能性がありますか？
これは、実際のウェブサイトを明らかにしていないが原因ではなく漠然とした質問であるように、私は私の記述に基づいて、その実装のためのいくつかの可能性があると確信している、と私はあなたたちが何を考えて聞くのが大好きです。この調査は、純粋に個人的な好奇心と興味からです。