web-scraping

1熱

1答えて

複数のURLを1つの変数「URL」に格納したいとします。これらのURLは、 'urlp1'、 'n'and'URLP2'の3つの部分で構成されています。これらの部分は、下のコードで確認できます。 urlp1 = "https://www.proteinatlas.org/" URLs = [] for cancer in cancer_list: urlp2 = "/pathol

0熱

1答えて

phpunit/symfonyでのAJAX呼び出しのテスト（クライアントまたはクローラを使用）

ajaxで動的に変更されるフィールドを持つページを生成するコントローラをテストします。ここでは、Ajaxのコードです： <script> var $groupeCompetence = $('#requete_prestataire_groupeCompetence'); // When sport gets selected ... $groupeCompetence.chang

0熱

1答えて

ウェブスクレイピングマルチプロセッシングが動作しない

私は多数のURLにウェブスクレイピングを使用しようとしています。スピードアップするためにマルチプロセッシングを適用しますが、なぜ高速化できないのか分かりません。ここに私のコードの一部です： def scrap(url,output_path): page = urlopen(URL) soup = BeautifulSoup(page, 'html.parser')

2熱

1答えて

Python Selenium ChromeDriverエラーメッセージ：EGL_NOT_INITIALIZED

Windows 7とPython 3.6でChromeDriver 2.34.522940とSelenium 3.8.0を実行しています。私はこのコードをしようとしている： def foo(url, login, password): from selenium import webdriver from selenium.webdriver.common.keys impo

1熱

1答えて

ウェブで複数のリンクを掻き集めるr

rvestとselectorgadgetを使用して、複数のリンクからいくつかのテニスの統計情報をスクラップしようとしています。私が掻き集めるページはhttp://www.atpworldtour.com/en/scores/archive/stockholm/429/2017/resultsで、「http://www.atpworldtour.com/en/scores/2017/429/MS00

1熱

2答えて

選択しscrapy

で一つ一つ私がIndeedから1ページのソースをダウンロードし、私はそのために私は、このXPathを使用しています、そこからすべてのジョブ・タイトルを取得しようとしている結果： response.xpath('//*[@class=" row result"]//*[@class="jobtitle"]//text()').extract() 問題は、結果が故に1行ではなく、ということである。

0熱

1答えて

mynetaからテーブルを掻き集めるR

http://myneta.info/uttarpradesh2017/index.php?action=summary&subAction=candidates_analyzed&sort=candidate#summaryから私のスタジオにテーブルを掻き回そうとしています。は、ここでは、コード url<-'http://myneta.info/uttarpradesh2017/index.p

1熱

2答えて

Beautiful Soup Parse Python

私はBS4を使って以下のhtmlをキャプチャしましたが、アーティストタグを検索できないようです。私はコンテナという変数にコードブロックを割り当てられ、その後、運なし print container.tr.td["artist"] を試してみました。アドバイスありがとうございます。 <tr class="item"> <!-- <td class="image"><a href="

-1熱

1答えて

どのように出力として複数のリンクの問題を解決するには、サイトを掻きながら、Pythonを使用して？

pythonの新機能とWebスクレイピングの学習。このようなサイトからタイトルとリンク（ないタイトルリンク）をこすりしようとしています： Title 1 Link 1 Title 2 Link 2 Title 3 Link 3 が、問題は、このように行うことができないのですが、私は（リンク）ループのネストでこれを実行

-1熱

1答えて

beautifulsoupを使用してwebscrapingを完了

websrapingのためにbeautifulsoupライブラリを使用するにはいくつかの助けが必要です。私はWebページhttp://thehill.com/からテキストを抽出する必要がは.../365407-ショーン・ディディ・櫛は-たい-に-購入-C ... 私の目標は、正確のためのWebページのようにテキストを抽出することです私はすべての "p"タグとそのテキストを抽出していますが、 "p