どのようにしてrobots.txtファイルを自分のサイトのホームページにリダイレクトするのですか？

Question

robots.txtファイルは通常、サイトのルートディレクトリのテキストファイルです。たとえば、www.amazon.com/robots.txtを表示できます。しかし今日、私は奇妙なrobots.txtファイルのウェブサイトを見つけました。

http://xli.bugs3.com/robots.txt 

と入力すると、テキストファイルが表示されず、そのサイトのホームページが表示されます。 どうやってウェブマスターがこれを行うのですか？

Answer 1

かなり一般的な/基本的なサーバー設定では、あなたが言うように単にファイルであると仮定すると、単純にhtaccess redirect ruleになります。ルールは、「サーバー上にある場合はファイルを提供し、そうでない場合はインデックスのみを提供する」のようなものかもしれません。

また、サーバーディレクトリ構造とURLパス名の間に直接の関係がないRailsのようなアプリケーションサーバーかもしれません。