web-scraping

0熱

2答えて

はのPythonに（非常に）新しいプログラミング一般に私は私のコードは動作しますが、それが読めないと実用的ではありませんScrapy と同じウェブサイトの複数のページ/セクションからデータをこすりしようとしてきました import scrapy class SomeSpider(scrapy.Spider): name = 'some' allowed_domains = ['http

0熱

1答えて

REQUESTSを使用したエンドポイントからのJSONのスクラップ

1）JSONファイルをエンドポイントからスクレイプするためにpythonを使用したいとします。（例：http://stats.nba.com/stats/boxscoreplayertrackv2/?GameID=0021700300）私は、Pythonの要求をインストールし、そのような変数にページをダウンロードしようとしました：私はいくつかの通常のWebページ上でこれを試してみました impor

0熱

1答えて

NodeJS Cheerio、廃止と変数の取得

APIを持たないサイトから統計を取得する必要があります。ソースコードを確認した後、私は必要なデータが統計的なグラフィックを構築するのに使用されているのを見た。私がリクエスト&チェリオを使用してスクリプトタグを取得することができた： request(nodeUrl, function(error, res, body) { var $ = cheerio.load(body);

0熱

3答えて

辞書として解析された項目を格納することができません

私は、PythonでBeautifulSoupを使って小さなスクリプトを書いて、下のスクリプト内の変数contentに格納されている要素のいくつかを解析しました。以前に作成した空の辞書に項目を追加することは望ましくありません。むしろ、私はその場でそれを解析したいと思います。しかし、私は試しましたが、達成できませんでした。どんな助けも高く評価されます。これは私の試みです： from bs4 imp

0熱

1答えて

ウェブページのデータを 'ポップアップ'ボックスでスクラップします

ウェブサイトからデータをスクラップしようとしています。問題は https://www.tomtom.com/en_gb/trafficindex/city/mexico-city 私は歴史的な輻輳レベル（右下、例えば2011マウス）を抽出したいと思い、...マウスポインタがその上にマウスを移動されたときにのみデータが表示され、次のページでです私は美しいスープにいくらか親しんでいます。可能であれば

0熱

1答えて

BeautifulSoup webすべての 'li'テキストをデータフレームにスクラップ

BeautifulSoupを使用して、不動産Webサイトからプロパティのリストリストをスクラップし、それらをデータテーブルに渡そうとしています。私はpython 3を使用しています。私は必要なデータを印刷するために働いています。しかし、私はテーブルにデータを出力する方法が必要です。各liタグの間には、3つの項目、プロパティ番号（1〜50）、テナント名と平方フィートがあります。理想的には、出力は列

0熱

2答えて

yahoo_finance株式からライブプライスを引き出す方法は？

私はアプリケーションを構築しており、yahoo-financeから最新の見積価格を取得したいと考えています。私は美しいスープを使用してパスをスクラップしようとしていますが、私が印刷するときに得られるのは空のリストです。助言がありますか？（outterのHTML：169.37） import requests from bs4 import BeautifulSoup a = requests

1熱

1答えて

Pythonでより効率的なWebスクレイピング？

以下のコードでは、nba.comからの演奏データを正常にスクラップし、そのデータをExcelファイルに書き込みます。一握りのゲームには効果的ですが、シーズン分のデータを一掃すると非常に遅くなります。データをより効率的に削り取るための実装がありますか？全シーズンで500K以上のデータ行があることを理解していますので、雷のスピードは期待できませんが、コードを改善する方法があれば、どうやってどうやって

0熱

1答えて

NodeJSの正規表現パターンが期待したものと一致しない

私は電子メールアドレスを見つけると予想されるnodeJSサーバで作業しており、正規表現を使用する必要があります。 /[A-Z0-9.][email protected][A-Z0-9.-]+\.[A-Z]{2,}([A-Z]{2,})?/i を、私はそれは、例えば、電子メールに一致するように期待している：私は、次のパターンを使用しています。これは、ちょうど匿名化された、掻き集められたウェブサ

0熱

1答えて

ループイン関数については、真の理解困難な間に

この単純なWeb Weather Scrapingスクリプトをまとめて、特定の場所の温度をチェックします。コードは完璧に動作しますが、それは最高の、またはクリーンなバージョンではないかもしれません。まだ学んでいる。しかし、それは擦っている：<span _ngcontent-c19="" class="wu-value wu-value-to">67</span>からHERE。 #!/usr/bin