Google CSEのみを許可し、ROBOTS.txtのGoogle標準検索を拒否する

Question

Googleカスタム検索エンジンを使用しているサイトがあります。私はGoogle CSEに自分のサイトをクロールさせたいが、それは通常のGoogle検索の結果から離れたいと思う。私はGoogleのカスタム検索エンジンのボットはまた、ロボットに従うことを持っていると思い、私はGoogleのCSEは、設定で

User-agent: * 
Disallow:/

をクロールしたいページを指定したので、Googleのカスタム検索エンジンのボットはそれを無視することを期待して、私のrobots.txtファイルでこれを置きます。 TXT。だから私のページを検索エンジンの検索から離れるようにする方法があるのですが、それでもGoogleのCSEはインデックスに登録できますか？ TIA！

Answer 1

あなたが望むものに合った解決策はありません。私もカスタム検索が必要なのと同じ状況にあります。残念ながら、crawlersのGoogleのリストには、Googleカスタム検索の具体的なボットは表示されません。ブロッキングGooglebotはネイティブ検索とカスタム検索を強制終了します。