GooglebotはRailsアプリのリンクをサブドメインに置き換えます

Question

私はドメイン名がabc.comのこのRailsアプリを持っています。このサブドメインstats.abc.comには、Piwikの統計情報用に別のサブドメインもあります。

Googlebotは何らかの理由で自分のサブドメインとリンクの一部をリストしていました。 statsと

http://abc.com/login 
http://stats.abc.com/login 
http://abc.com/signup 
http://stats.abc.com/signup 

ものは、アプリ内の同じページに参​​照しますが、全く別のウェブサイトを扱われます。

私はrobots.txtをこの問題の後に入れましたが、将来的に新しいサブドメインを持つ可能性があるため、これをブロックする適切な方法があるかどうか疑問に思っています。ここに私のコンテンツがあります。robots.txt

User-agent: * 
Disallow:/

ありがとうございました。

Answer 1

Robots.txtはそれをうまくブロックします。サイトを公開する前に覚えておくことは重要です.Googleはかなり高速です。一部の検索エンジンはrobots.txtを無視します。あなたの状況に本当に合わないサブドメインはありません。サブドメインの真の目的を読むことをお勧めします。別のドメインの同じサイトにアクセスすべきではありません。別の（サブ）ドメインで301の直接的または異なる内容を使用する必要があります... stats.abc.comに異なる素材が含まれていない限り、それはサブドメインであってはいけません。正確に何たくさんのサブドメインが必要ですか？

あなたはユーザーエージェントを検出し、それはボットがいた場合、私は別のアプリ（ワードプレス、Piwikの、PHP）であるなどのブログ、サポートのためのサブドメインを持っている404あまりに