web-scraping

0熱

1答えて

Seleniumを使用してPython経由でウェブサイトにログインする際に問題があります。私はウェブスクレイピングを初めて使いました。学習プロセスの一環として、American AirlinesのPythonを使用して自分のアカウントアクティビティをスクラップしようとしています。これにはログインが必要です。これは私のコード（下記参照）が失敗するところです。フォームフィールドはすべて入力されますが

2熱

1答えて

BeautifulSoupでのクロールの深さ

beautifulsoupパッケージ内に、ユーザーがサイト内でクロールの深さを設定できる機能はありますか？私はPythonには比較的新しいですが、以前はRでRcrawlerを使用していました.Rcrawlerは 'MaxDepth'を提供しているので、クローラはそのドメイン内のホームページから一定数のリンク内に入ります。 Rcrawler(Website = "https://stackoverf

1熱

2答えて

Pythonの：BeautifulSoupは、私はクラス "COL-MD-4 COL-SM-4サイドボックスも側-boxTop" 上の第2のスパンクラスを印刷しようとしている

from requests import get from bs4 import BeautifulSoup url = 'https://www.ceda.com.au/Events/Upcoming-events' response = get(url) events_container = html_soup.find_all('div', class_ = 'list-bx'

-1熱

1答えて

のpython

でアレイから複数の値を単一の値を比較すると、私のコードは次のようになります。 import requests import re import mechanize import urllib import json htmltext = urllib.urlopen("https://www.binance.com/api/v1/klines?symbol=BCDBTC&interva

0熱

1答えて

PythonでWebスクレープ|限られたオブジェクト

私はPCのパーツを使用して、ウェブサイトからデータを取得しようとしている、と私はそのページ上の3500個の部分の上に持って、このリンクを持っている、問題は、私はきれいなリンクを使用する場合： https://www.komplett.no/search?q=pc をスクロールして新しい項目を読み込む前にそこにあるデータだけを取得します。だから私はこのように編集リンクを取った： https://w

1熱

1答えて

擦れたデータをフォーマットしてforeachループを制限する

私は以下のコードで私の最初の問題を解決しました。返されたデータを最初の5行に制限する方法を学ぶ必要があります。 foreachループをどのように制限するのですか？ siteからデータを削っています - 私は3番目の "LAST 1 MONTH（11/20/2017-12/19/2017）"が必要なテーブルを取得するためにDOMをトラバースすることができます。 2 "となる。しかし、私はかなり正しい

0熱

1答えて

リクエストSSLError：HTTPSConnectionPool（host = 'www.recruit.com.hk'、port = 443）：最大再試行回数がURLを超過しました

私はこれ以上本当に混乱しています。ここに私が使っているものがあります。リクエスト2.18.4 のpython 2.7.14 私はスクレーパーを構築し、URLに接続するためにrequests.get()を使用しようとしています。これは実際に別のリンクにジャンプするリンクです。 File "/Users/cecilialee/anaconda/envs/py2/lib/python2.7/sit

1熱

2答えて

掻き取り中に美しいスープから部分を隠すことは可能ですか？

私はpythonパッケージの美しいスープでウェブサイトを掻き集めるときに問題が発生しました。どういうわけか、私が興味を持っている部分を除いてすべてを取得しています。このサイトhttps://www.bitfinex.com/からリアルタイムデータを削り取ろうとしています。リアルタイムデータのすべての部分が実際に実行されています。データと同じコンテナ内のスクリプトブロックに何らかの形で接続されてい

0熱

2答えて

"NoneType 'オブジェクトに属性がありません"というエラーが表示される

Webサイトから一部のデータをスクラップするためのスクリプトを作成しましたが、数ページでしか実行されず、 File "scrappy3.py", line 31, in <module> f.writerow(doc_details) File "C:\python\lib\encodings\cp1252.py", line 19, in encode return codecs.char