3
http://plus.google.com/robots.txt以下の内容があります。Google+ robots.txtのこれらの行は何を意味していますか?
User-agent: *
Disallow: /_/
私は、これは、検索エンジンは、さらにインデックスルートオフ最初のレベルでは何もして何も許可されている意味と仮定していますか?
http://plus.google.com/robots.txt以下の内容があります。Google+ robots.txtのこれらの行は何を意味していますか?
User-agent: *
Disallow: /_/
私は、これは、検索エンジンは、さらにインデックスルートオフ最初のレベルでは何もして何も許可されている意味と仮定していますか?
私はこれらの線が https://plus.google.com/_/apps-static/_/ss/landing/...
と https://plus.google.com/_/apps-static/_/js/landing/...
のようなURLへのアクセスをロボットを拒否するために使用されていると信じています。
これらのURLは、主にCSS、Javascript、JSONのように見えますが、すぐにはわからない他のもの(検索エンジンにとってより価値のあるもの)があるかもしれません。
_は私が知る限り非標準です。 –