クッキーでGoogleクロール

Question

私のサイトのコンテンツはリクエストのクッキーに依存し、Googleクローラボットが自分のサイトにアクセスすると、リクエストごとに特定のクッキーが存在しないため、多くのコンテンツのインデックスを作成しません。

クローラボットが自分のサイトをクロールしているときに特定のCookieを使用するというルールを設定することはできますか？

Answer 1

はい、Googleクローラのリクエストヘッダーに「Googlebot」という語句があります。単にそれを確認するだけでなく、あなたのサイトのコンテンツへのアクセスを得るために人々がこれを偽装できることを警告してください。コメントに記載されているように、これは一般的にあなたのサイトを使用している人と、おそらくGoogleのTOSに対して見下されています。

Answer 2

Googlebotは目的に応じてCookieを尊重しません。他のユーザーがあなたのウェブサイトに表示する内容を「参照」する必要がある場合は「最小公約数」となります。さもなければ、検索結果は、未知の量の検索者にとって無意味であろう。

「Googlebotクッキー」は、検索エンジンに関するディスカッションやドキュメント、彼らの働き方、働いている理由などを指摘してください。あなたの問題に対する1つの解決方法は、「最初の訪問/視聴無料」のルールを実装することです。