通常のユーザーはGoogle Cloud IPを使用できますか？

Question

巨大な攻撃の数日後、中国から来たほとんどのものは、今日私はGoogle Cloud IP（彼らはrobots.txtファイルにも従っていない）から多くのヒットを得るようになりました。これがGoogle Botsクローラ、またはGoogle Cloud IPを使用してウェブサイトをクローラする人はいますか？私はそれらをブロックする場合、私のGoogleのランキングに影響を与えることができますか？

IPSリスト： "クロール" セクションで https://www.google.com/webmasters/tools

、あなたは、Googleのクローラがサイトでやって正確に何を見ることができます。

August 3, 2017, 12:00 am - 107.178.194.117 - 6 
August 3, 2017, 12:00 am - 107.178.194.96 - 6 
August 3, 2017, 12:00 am - 107.178.194.115 - 6 
August 3, 2017, 12:00 am - 107.178.194.115 - 5 
August 3, 2017, 12:00 am - 107.178.194.96 - 5 
August 3, 2017, 12:00 am - 107.178.194.96 - 4 
August 3, 2017, 12:00 am - 107.178.194.113 - 12 
August 3, 2017, 12:00 am - 107.178.194.113 - 11 
August 3, 2017, 12:00 am - 107.178.194.99 - 4 
August 3, 2017, 12:00 am - 107.178.194.127 - 5 
August 3, 2017, 12:00 am - 107.178.194.117 - 5 
August 3, 2017, 12:00 am - 107.178.194.127 - 4 
August 3, 2017, 12:00 am - 107.178.194.115 - 4 
August 3, 2017, 12:00 am - 107.178.194.127 - 3 

Answer 1

私は、グーグルのウェブマスターツールになって示唆しています。

Googleクローラは、robots.txtに既に設定されているパスに従います。google linkここでの例です：

#all crawlers 
User-agent: * 
Disallow:/
User-agent: Googlebot 
Allow:/
Disallow: /[dont-crawl-this-pad]/ 

#yahoo 
User-agent: Slurp 
Allow:/
User-Agent: msnbot 
Disallow:/

あなたはIPがrobots.txtの中に定義された路外のサイトをスキャンしていると思われる場合は、あなたがウェブマスターツールでクローラの状況を知ることができますどのような方法で、ためらうことなく、それをブロックすることができます、あなたのサイトはそのままの位置にとどまるようにしてください

この情報はお役に立ちましたか？