特定のクエリ文字列パラメータを持つページをインデックスする検索エンジンを停止する可能性があります

asp.net DataPagerを使用しており、検索エンジンが作成されたリンクをクロールできないことに気付きました。リンクをクロールする可能性があります。特定のクエリ文字列パラメータを持つページをインデックスする検索エンジンを停止する可能性があります

私が今問題になっているのは、最終的には同じページの複数のURLで終わるということです。

?pg=

ので、検索エンジンは、これらのリンクではなく、インデックスに従います：

は、次のようなクエリ文字列パラメータを持つすべてのページをインデックス化、検索エンジンを停止することが可能です

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate?pg=3 
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation?pg=6

だろうがインデックス：

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate 
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation

ありがとうございました

2011-07-14 JBoom

私は、あなたがウェブマスターツールで除外したいパラメーターを指定することができ、Googleとのrobots.txt

とそれを達成することができますかなり確信しています。それはボットだとき、あなたはまた、トラップのUserAgentと単純にページをクラッシュさせる可能性がある

...

2011-07-14 12:28:33 David

そう私は、パラメータexlusionを見てきましたが、ボットはまだ、リンクだけではないインデックスをたどるのでしょうか？これは私が必要とするものです。 – JBoom

@JBoomはい、彼らはページをインデックス化し、パラメータを無視します。これらのパラメータがなくてもページが正常に動作していることを確認してください。これは、URLからパラメータを除外したページを呼び出すためです。 – David

ページはまだ動作しています。それを行って、サイトが生きていればどのように索引付けが始まるかを見てみましょう。情報のおかげで。 – JBoom

答えて