web-scraping

2熱

1答えて

データを解析する必要があるウェブサイトがあります。私はキーワードの結果によっていくつかの検索を取得する必要があります。ただし、すべてのフィールドが製品のプレビューに表示されるわけではありません。これらのフィールド（商品の色、説明、古い価格）は、各商品ページからのみ拾い読みすることができます。製品ページのURLは次のようになりますhttps://www.aboutyou.de/p/new-look/

1熱

2答えて

Python：BeautifulSoup divクラスのすべての見出しテキストを抽出

import requests from bs4 import BeautifulSoup res = requests.get('http://aicd.companydirectors.com.au/events/events-calendar') soup = BeautifulSoup(res.text,"lxml") event_containers = soup.find

1熱

1答えて

Ruby：Net :: HTTPとリダイレクト

私はhttp://ruby.bastardsbook.com/chapters/web-crawling/でチュートリアルを進めていますが、作者が例として使用したDODウェブサイトが書面の時点から再作成されているため、Handling Redirectsの説明を少ししたいと思います現在のバージョンで動作するようにコードを調整している間に、予期せぬ結果に遭遇しました。（コードを書き直す手助けは必要

0熱

3答えて

ノードjsとfoorループでの同期複数要求

私はJavascriptで始まりましたが、forループをループしているときにこのコードを同期させるにはどうすればいいですか？基本的には、ループ内で複数のPOSTリクエストを作成してから、ライブラリX-Rayを使用してデータをスクラップし、結果をMongoデータベースに保存しています。出力はOKですが、順不同で突然ハングアップするので、Ctrl + Cを押して強制的に閉じる必要があります。これは

10熱

2答えて

すべてが完了したらブラウザを終了する代わりにスクレーパーがエラーをスローする

トレントサイトの映画情報を解析するためにvbaにスクレーパーを書きました。私はこの仕事を達成するためにIEとqueryselectorを使用しました。私のコードを実行すると、すべてのエラーがポップアップして解析されます。続行するのではなく、どこかでエラーが表示されるようです。エラーボックスをキャンセルすると、結果が表示されます。私は以下の2つの画像をアップロードして、私が過ちているエラーを表示して

0熱

1答えて

検索クエリがscrapy pythonを使用して見つからないときにYieldステートメントを使用して出力を返す

私は、スクラップライブラリを使用してウェブサイトから複数のページをスクラップするチュートリアルに従っていました。このチュートリアルでは、yieldセレクタを使用して、cssセレクタとxpathセレクタを使用してページのHTMLおよびCSS構造から情報を取得しました。 if文を使用して、検索クエリが結果を見つけたかどうかを確認し、検索クエリが結果に遭遇しなかったときに何をするかを出力するelse文を

0熱

1答えて

Python Web Scrapeサイクルタブ

ウェブサイト上のすべてのタブをループして、関連するすべての情報を取得するためのヘルプを探しています。以下のサイトでは、5x5,5x10,5x15,10x10などのタブがいくつかあります。どのように構造化するかわからないので、タブを通過してスクリプトにループを書きます。あなたの助けに感謝します。以下はpythonスクリプトです。 from urllib.request import urlope

0熱

1答えて

Scrapy Spider Dataを保存しない

Scrapyを使用してバスケットボールチームのスケジュールをCSVファイルに保存しようとしています。私はこれらのファイルに次のコードを書かれている： settings.py BOT_NAME = 'test_project' SPIDER_MODULES = ['test_project.spiders'] NEWSPIDER_MODULE = 'test_project.spiders'

1熱

1答えて

セレンスクリプト内でonclickイベントのターゲットURLを抽出

はのは、私は次の要素を持つHTMLページを持っているとしましょうURL？ありがとうございます。 Browser Instanceを開始ユーザーの対話を皮肉っSeleniumとして、それはget the target URL of the button without having the browser visit the URLにSeleniumでは可能ではないでしょう見出しあなたの質問を1と