ASP.NET MVCサイトのrobots.txtを作成する

Question

自分のWebサイト用のrobots.txtファイルを作成していますが、プロジェクトの構造を見て、何を禁止するのか分かりません。

標準の.NET MVCディレクトリと/ App_Data、/web.config、/ Controllers、/ Models、/ Global.asaxなどのファイルを許可しないでください。あるいはそれらはすでに索引付けされていませんか？

/binや/ objのようなディレクトリはどうですか？

ページを許可しない場合は、/Views/MyPage/Index.cshtmlまたは/ MyPageを許可しないのですか？

また、robots.txtファイルでサイトマップを指定する場合、Web.sitemapを使用できますか、それとも別のxmlファイルにする必要がありますか？

Answer 1

「robots.txt」は、Webクローラから一般公開されているパスを示します。

クローラは特に特筆すべきものはありません.HTTPを使用して、サイトのページをユーザーの要望と同じように正確にリクエストするだけです。

MVCサイトが正しく設定されていることを考えると、/web.configなどのファイルや言及されたパスは、IISやアプリケーションには表示されないため、外部には表示されません。たとえそれがそれらのファイルを指していたとしても、スパイダーは404 Not Foundを受け取り続けます。

同様に、.cshtmlまたは.aspxのコンテンツファイルは、これらの拡張子では表示されません。むしろ、Webクローラはユーザーに表示する内容を正確に表示します。