サブドメインIは、私は将来の任意の新しいサブドメインをせずにブロックされていることを確認する</p> <p>をrobots.txtのを使用して、潜在的に.htaccessのサブドメインを含むドメイン全体にアクセスするために、検索ロボットを禁止したいのrobots.txt

Question

を介して検索ボットを禁止毎回サブドメインのルートに1つ作成する必要があります。

これは可能ですか？

Answer 1

ロボットをrobots.txtでブロックする場合は、サブドメインごとにロボットを作成する必要があります。私はあなたのゾーンファイルを監視し、自動的に作成するスクリプトをお勧めします。

もう1つの解決策は、HTTP Basic Authを使用することです。すべてのボットがCNAMEにアクセスするのをブロックしますが、ユーザーはユーザー名とパスワードを入力する必要があります。

IPテーブルを使用して、IP範囲によるアクセスを制限できます。

ロボットがあなたのCNAMEにアクセスするのを防ぐために使用できるソリューションはいくつかあります。また、検索エンジンがあなたのページを自分のインデックスに追加しないようにするソリューションもあります。

これは、どのソリューションを使用するかを決定する人（良いボット、悪いボット、ユーザーなど）に入れたいかどうかによって決まります。