google-crawlers

0熱

1答えて

私は、ウェブクロールを初めて利用しています。私が実行する必要がある作業は、Google検索から返された完全なHTTP応答を取得することです。私はウェブのこの部分を抽出する必要が（XXXXは検索ワードです）XXXXに関連検索：ブラウザの検索キーワードでGoogleで検索すると、返されたページで、セクションがありますページ。私の研究から、現在のGoogleクローリングパッケージのほとんどは、このセ

1熱

1答えて

既存のURLがない場合は500クロールあり

存在しないページからリンクされているページのサーバークロールをスローします。例：からリンクされている http://www.dailyforex.com/forex-technical-analysis/forex-blog-reviews/page-506 ： http://www.dailyforex.com/forex-technical-analysis/forex-blog-revie

1熱

1答えて

角2（非ユニバーサル）アプリのSEO

プロダクションでうまく機能する展開された角度2アプリがあります。問題は、Webクローラーがサイト全体を実際にクロールして索引付けすることができないことです。私は、主索引ページ/経路がクロールされるのを見るだけです。参考までに、私のアプリケーションは普遍的な角度を使用していません。とにかく、普遍的な角度のない検索エンジンのボットのためにサイトをクロール可能かつインデックス可能にすることができます。そ

0熱

1答えて

Prerender.ioロードされていないスクリプトが正しく

私は2つのJavaScriptファイルがあります。 vendor.js - 私はangular.jsと別のLIBSを持っています。 app.js - 自分のコード。しかし、私はそれを読み込んだときに私のページを開いていない。これを1つのファイルに連結すると、すべてOKです。どうすれば修正できますか？

0熱

1答えて

古いrobots.txtファイルが変更されず、現在のrobots.txt

に更新できません。私のWordPressウェブサイトが稼動していた間に、私はrobots.txtファイルを作成してすべてを禁止しました。サイトの準備ができたら、私はcpanelからrobots.txtファイルを削除し、それについてはほとんど考えなかった。最近、私はウェブサイトがGoogleの検索結果に表示されていないことを認識しました。さらに調査すると、古いrobots.txtファイルが（ルートフ

0熱

1答えて

URL、タイトル、ブリーフィングで結果を返すGoogleニュースクローラ

私はクローラを初めて利用しています。私はPython 3.Xを使用しています。現在、私は新鮮なスタートのためにGoogleニュースをクロールするように練習していますが、コードに問題が発生しました（コードは実行されますが、何も返されませんでした）。私はコードがGoogleのニュースをクロールしてURLとタイトルとブリーフィングの結果を返すようにしたい。お時間をありがとうございました。私のコードは以

0熱

1答えて

Googleニュースクローラフリップページ

Googleニュースのすべてのページからすべての結果を得るために、クローラを改良して、クエリに関するすべてのニュース結果をクロールしています。現在のコードは、最初のページのGoogelニュース検索結果のみを返すようです。すべてのページの結果を取得する方法を知っていただければ幸いです。どうもありがとう！以下私のコード： import requests from bs4 import Beauti

1熱

1答えて

Google検索の説明：このページには情報がありません

Googleで自分のウェブサイトを検索すると、自分のドメインと一番最初に表示されますが、説明は "です。このページでは情報がありません" <meta name="description" content="My website Search Engine description"/> <meta name="keywords" content="some,keywords"/> <title>

0熱

1答えて

MagentoのAvoide条件Googleのクロール

いくつかの製品の属性に基づいて、我々はGoogleに言うのですか、ないインデックス製品の詳細ページには、