google-crawlers

20熱

1答えて

コミュニティの料金が投稿されたレビューサイトを作成しています。私はGoogleがこの評価を受け取り、検索結果に表示できることに気付きました。誰がこれがどのように達成されているのか分かりますか例はIGNのようなレビューサイトで、下のスクリーンショットでレビューの評価が9.3/10であることを示しています。どのように私は私自身のレビュー評価をGoogleに示すことができますか？たぶん何らかのカスタ

5熱

4答えて

robots.txtでクロール速度を制御することはできますか？

ボットにrobot.txtのウェブサイトをクロールするかクロールしないように指示できます。一方、Googleのウェブマスターでは、クロールの速度を制御できます（Googleのロボットがウェブサイトをどれだけクロールするか）。クローラの活動をrobots.txtで制限することが可能かどうか疑問に思う。私は、ボットがページをクロールするのを受け入れるが、時間やページ、サイズによってその存在を制限する

2熱

1答えて

シバン/ハッシュバンとは何ですか？

AJAXコンテンツをGoogleにクロール可能にする以外に、shebangs/hashbangsの他の用途はありますか？それともそれですか？

12熱

3答えて

私のサイトマップファイルにPDFをリストしてください。

XMLサイトマップにPDFを追加する必要がありますか？ GoogleがPDFをクロールするかどうかを知りたい。

2熱

4答えて

クロークとは何ですか

最初に私はクローキングが何であるかを理解していると思いますが、詳細はどうですか？私の問題：私はwavemakerを使用して作成されたwebappを持っているので、javascriptとajax呼び出しがいっぱいです。そのため、Googleクローラは自分のコンテンツを見ることができません。私の考えは、ユーザーのための別のシンプルなHTMLページを、JavaScriptを無効にして、Googleクロ

2熱

1答えて

Googleは私のサイトマップをウェブページとしてインデックス化します

私は以下の問題があります。私のサイトマップのコンテンツはGOOGLEの検索結果に表示されます。メインページにはサイトマップへのリンクがあります。それはそれを引き起こす可能性があります。このURLをGOOGLEにサイトマップとして追加しました。サイトマップとウェブページではなく、サイトマップとしてのみ扱いたいと思います。 GOOGLEにウェブページとしてインデックスを作成しないように指示するにはどう

4熱

4答えて

robots.txtコンテンツ自体がインデックスに登録されていますか？

robots.txtファイルの内容は、実際にはインデックスに登録され、Googleの検索結果に表示されます。それはGoogleだけであり、Yahooの例ではありません。私は実際にGoogleがないインデックスへそれが何でないインデックスにGoogleのを伝えるためだけにありますように私のロボットのがファイル内容を理解すべきだと思います！ここに何か不足していますか？