web-scraping

0熱

1答えて

ブラウザのpdfビューアページを調べると、HTML構造がありますが、urllib2と要求の両方が返されず、BS4は無限ループに入ります。私はちょうどページのタイトルを（頭の中に）欲しいです。例のページ：あなたがMozillaのpdf.jsを使用している場合 http://victoria.lviv.ua/html/fl5/NaturalLanguageProcessingWithPython.

0熱

1答えて

Webページが完全に読み込まれてから、Pythonリクエストで掻き集めるまで待ちます。

現在、LinkedInの特定のページからデータをスクラップしようとしています。 LinkedInにログインできるスクリプトがありますが、データが含まれているページにアクセスしようとすると困惑します。 requests.get(data_url)と呼ぶと、LinkedInが実際のページコンテンツを読み込む前に表示されるLinkedInの読み込み画面のhtmlになります。実際にhtmlデータをスクラッ

-1熱

2答えて

AttributeError： 'NavigableString'オブジェクトに属性がありません。インデックスが範囲外です

ここで提供されているリンクの製品に関する基本情報（製品名、画像、評価、価格）を取得するために2日間苦労しているので、。あなたは、内側li要素を必要としながら、ul要素 - - 各製品容器を表す私は新しいです、この私のコードとは import urllib.request from bs4 import BeautifulSoup from random import randint fro

1熱

2答えて

Python Beautiful Soup HTMLメタデータを抽出する

私はかなり理解できない奇妙な振る舞いをしています。私は、誰かが何が起こっているのかを説明できることを望んでいます。は、このメタデータを考えてみましょう： <meta property="og:title" content="This is the Tesla Semi truck"> <meta name="twitter:title" content="This is the Tesla S

0熱

2答えて

bs4 Selectors Not Take taken "image：title"

私はウェブサイト上のすべての製品名を取得するためにウェブサイトスクレーパーを作っています。私は、製品のタイトルを見つけるときにKeyErrorを取得し続けます。 HTML： <url> <loc> https://shop.havenshop.ca/products/cassady-sunglasses-indigo-gunmetal </loc> <las

0熱

1答えて

すぐにScrapyリクエストを実行し、解析メソッドで返されたレスポンスを取得するにはどうすればよいですか？

すぐにScrapyリクエストを実行し、解析メソッドで返されたレスポンスを取得する方法は？私は別のリンクからいくつかの情報を取得し、私は元のリンク（解析メソッド）から持っている現在の情報と組み合わせる必要があります。したがって、私は治療要求を実行し、返された応答を得ることができる必要があります。

1熱

1答えて

治療、ページをクロールできません： "TCP接続がタイムアウトしました：110：接続がタイムアウトしました。"

プログラミング初回同じウェブサイトに属する一部のドメインのコンテンツをスクラップできません。たとえば、私はit.example.com、es.example.com、pt.example.comを削ることができますが、私がfr.example.comやus.example.comで同じことをしようとすると、：： 2017-12-17 14:20:27 [scrapy.extensions.

0熱

1答えて

Ajax（scrapy）がロードされたフォームでログイン：セレンとスプラッシュスプラッシュ

私が望むウェブページをスクラップするには、ログインが必要です。ログインフォームにアクセスするには、ボタンをクリックする必要があります。このボタンはフォームを表示するAJAXリクエストを作成します。私はTorとprivoxyを通して私の要求を渡すためにミドルウェアを使ってScrapyを使います。私はボタンをクリックするためにセレンを使用することができましたが、（私はそれが正しいとすれば）、私は治

0熱

1答えて

は

私は、次のスプレッドシートは、でアップロードしました私はその行のすべてのTotal current Assets値をインポートしたいと思います。 31/12/2016 31/12/2015 31/12/2014 31/12/2013 31/12/2012 31/12/2011 31/12/2010 31/12/2009 31/12/2008 31/12

0熱

1答えて

Rcrawlerパッケージ：ContentScraperエラー

RcrawlerパッケージのContentScraper機能に問題があります。 MY_Data=ContentScraper(CssPatterns = c(".leg",".price"), ManyPerPattern = T, Url = "http://www.skyscanner.it/trasporti/voli/rome/lond/180201?adults=1&children=0