0
私は、自分のサイトの特定のページからGoogle Botをブロックしようとしているが、私のGoogle Site Search（GSA）でインデックスを作成できるようにすることを明確にしたい。私はこれについて明確な答えを見つけることができません。これは私の最高の推測です。Google Site Searchを許可するが、Google Botをブロックする
User-agent: *
Disallow: /wp-admin/
Disallow: /example/custom/
User-Agent: gsa-crawler
Allow: /example/custom/
私はwww.example.com/example/custom/を持つ任意のページをインデックスからではなく、GSAと同じ時間インデックス彼らに、Googleのボットを阻止したいと思います。これはrobots.txtファイルの正しい実装ですか？または、GSAはUser-agentの上に行く必要がありますか？*どんな洞察も大変ありがとうございます。それが役立つことがあれば
私はこれらのページのセキュリティについて心配していませんが、ユーザーはそれらのページに移動してもらいたいですが、重複するコンテンツの理由でGoogleにインデックスを作成させたくありません。リンクについては、私はそれを見ましたが、google botをブロックしてGSAを許可するという回答は見つかりませんでした。 – Drew