scraper

1熱

1答えて

本当に助けていただければ幸いです。コードの一部は、常に実行に実行 - 時エラー enter image description here HTML部分は絵の注意を enter image description here おかげです。 Sub HTML_Table_To_Excel() Dim objIE As Object Set objIE = CreateObject(

1熱

1答えて

クローリング時にすべてのページを処理しないでください

私はscrapyでクローラを作成します。また、多くのページをクロールするためのスクリプトを作成します。残念ながら、すべてのスクリプトがすべてのページをクロールしているわけではありません。一部のページはすべてのページを返します。他のページは23またはおそらく180（異なるURLの各URL）です。 import scrapy class BotCrawl(scrapy.Spider)

0熱

1答えて

Nodejs JS保護されたウェブサイトを読むことができるスクレーパーを書く

nodejsは私のために新しく、私はちょうどウェブスクレーパーを学び始めました。問題は、JSで保護されているウェブサイトをスクラップする必要があることです。だから、私はウェブサイトから電話を入手する必要がありますが、電話番号を表示するdivは、ユーザーが「番号を表示」ボタンをクリックした後にのみ表示されます。番号を取得する方法やnpmはありますか？ここにはウェブサイトenter link desc

2熱

1答えて

GETレスポンス（スクレーパー）から「セットクッキー」の一部が欠落していますか？

私が使用して認証しようとしている：https://sso-prod.sun.ac.za/cas/login が、私は私の最初のGETリクエストで受信するクッキーは、ここで不完全ように見えるが、Firefoxが受け取るものです：が、クッキー私は私の要求から得る： Cookies: "" BIGipServerpool_cas_sso_443=1954670738.47873.

0熱

1答えて

java jsoupを使ってログインできません

ここでは別のチュートリアルを試してみて、たくさんの投稿を読んだあと、jsoupを使ってウェブサイトにログインすることはできません。これは私のコードである Connection.Response response = Jsoup.connect("https://www.ivolatility.com/login.j") .method(Connection.Method.GET

1熱

2答えて

デコードされた情報をPHP＆Curlでスクラップします

デコードされた電話番号をPHPCurlのイエローページのWebサイトからスクラップする方法を理解しようとしています。ここでは例のURLです： https://www.gelbeseiten.de/test は、通常は、このようなもので、それを技術的に行うことができます。 $ch = curl_init(); $page = curl_exec($ch); if(preg_match('#e

-1熱

1答えて

Linkedin APIを使用して指定を取得する方法は？

私は以下を行う必要があります。 Googleの「名+姓+会社名+リンクイン」をExcelファイルから入力し、最初のリンクにアクセスしてその人の指定を取得します。 PythonとAPIを使用してどのようにすればよいですか？

0熱

1答えて

URLのマスターリンクからすべてのネストされたサブリンクを収集

マスターリンクからすべてのhrefを取得するために美しいスープを使用しようとしています。マスターリンクaがWebページ内でサブリンクとしてb、c、d、e、....を持っているとします。今、私はbに行き、b1、b2、b3を集めたいと思います... cとdと同じです... 私はこれらのリンクを取得するためにコードを書いていましたが、ループのためのもっと多くの... import requests