Googleは、私が使用しているリンクトラッカーの重複コンテンツに対して何千ものエラーを投げただけです。Robots.txt用法
Google &他の検索エンジンはリンクトラッカーのページにアクセスしません。
私はこれらのページは、これらのロボットを許可しない、私のページは以下のとおりです。
http://www.site.com/page1.html
http://www.site.com/page2.html
は、どのように私は、彼らが私のページにあるとき、すべてのロボットがこれらのリンクを訪問しないで作るために、私のrobots.txtを書くのでしょうか？
次のテキストを含むrobots.txtを作成します。
User-Agent: *
Disallow: /page1.html
Disallow: /page2.html
ファイルは、http://www.site.com/robots.txtに配置する必要があります。
詳細については、Wikipediaを参照してください。
さらに、Googleにはrobots.txt testerがあり、Webmaster Toolsから入手できます。このツールを使用すると、正しくフォーマットされていることを確認できます。
robots.txtのは、Webサイトのルートに配置する必要があり、広告は含まれています：
User-agent: *
Disallow: page1.html
Disallow: page2.html
「ユーザーエージェント：*」すべてのSEが不許可のdirs /ページのリンクをたどるないことを意味します
編集：また、あなたはいい人のように見えるあなたのページ1とページ2
<meta name="robots" content="NOINDEX, NOFOLLOW"/>
の内側にこのメタタグを配置する必要があります！ – Latox