web-scraping

    2

    1答えて

    データを解析する必要があるウェブサイトがあります。私はキーワードの結果によっていくつかの検索を取得する必要があります。ただし、すべてのフィールドが製品のプレビューに表示されるわけではありません。これらのフィールド(商品の色、説明、古い価格)は、各商品ページからのみ拾い読みすることができます。製品ページのURLは次のようになりますhttps://www.aboutyou.de/p/new-look/

    1

    2答えて

    import requests from bs4 import BeautifulSoup res = requests.get('http://aicd.companydirectors.com.au/events/events-calendar') soup = BeautifulSoup(res.text,"lxml") event_containers = soup.find

    1

    1答えて

    私はhttp://ruby.bastardsbook.com/chapters/web-crawling/でチュートリアルを進めていますが、作者が例として使用したDODウェブサイトが書面の時点から再作成されているため、Handling Redirectsの説明を少ししたいと思います現在のバージョンで動作するようにコードを調整している間に、予期せぬ結果に遭遇しました。 (コードを書き直す手助けは必要

    0

    3答えて

    私はJavascriptで始まりましたが、forループをループしているときにこのコードを同期させるにはどうすればいいですか? 基本的には、ループ内で複数のPOSTリクエストを作成してから、ライブラリX-Rayを使用してデータをスクラップし、結果をMongoデータベースに保存しています。 出力はOKですが、順不同で突然ハングアップするので、Ctrl + Cを押して強制的に閉じる必要があります。これは

    10

    2答えて

    トレントサイトの映画情報を解析するためにvbaにスクレーパーを書きました。私はこの仕事を達成するためにIEとqueryselectorを使用しました。私のコードを実行すると、すべてのエラーがポップアップして解析されます。続行するのではなく、どこかでエラーが表示されるようです。エラーボックスをキャンセルすると、結果が表示されます。私は以下の2つの画像をアップロードして、私が過ちているエラーを表示して

    0

    1答えて

    私は、スクラップライブラリを使用してウェブサイトから複数のページをスクラップするチュートリアルに従っていました。このチュートリアルでは、yieldセレクタを使用して、cssセレクタとxpathセレクタを使用してページのHTMLおよびCSS構造から情報を取得しました。 if文を使用して、検索クエリが結果を見つけたかどうかを確認し、検索クエリが結果に遭遇しなかったときに何をするかを出力するelse文を

    0

    1答えて

    ウェブサイト上のすべてのタブをループして、関連するすべての情報を取得するためのヘルプを探しています。 以下のサイトでは、5x5,5x10,5x15,10x10などのタブがいくつかあります。どのように構造化するかわからないので、タブを通過してスクリプトにループを書きます。あなたの助けに感謝します。 以下はpythonスクリプトです。 from urllib.request import urlope

    0

    1答えて

    Scrapyを使用してバスケットボールチームのスケジュールをCSVファイルに保存しようとしています。私はこれらのファイルに次のコードを書かれている: settings.py BOT_NAME = 'test_project' SPIDER_MODULES = ['test_project.spiders'] NEWSPIDER_MODULE = 'test_project.spiders'

    1

    1答えて

    はのは、私は次の要素を持つHTMLページを持っているとしましょうURL? ありがとうございます。 Browser Instanceを開始ユーザーの対話を皮肉っSeleniumとして、それはget the target URL of the button without having the browser visit the URLにSeleniumでは可能ではないでしょう見出しあなたの質問を1と