web-crawler

0熱

1答えて

私は自分のWebアプリケーションでは、次のエラーを持っている： 2017-12-02 22:32:39 [10.133.0.13][-][-][error][yii\web\HttpException:404] yii\base\InvalidRouteException: Unable to resolve the request "assets/7adcf7ba/site.css". i

0熱

1答えて

複数のWebページをPythonで削る

from bs4 import BeautifulSoup import urllib, time class scrap(object): def __init__(self): self.urls = ['https://www.onthemarket.com/for-sale/property/wigan/', 'https://www.onthemarket.co

0熱

1答えて

キューがapply_async funcに追加されたときのマルチプロセッシングの異常な動作？

私はキューにpool.apply_async()方法でFUNCの生成された結果を置きたい、すべてが非常によくようだが、エラーは私に多くのことを混同しました。私の目的は、複数の非同期プロデューサ（ここでは正しくない可能性があります）と複数のコンシューマを作成しようとすることです。 > Process PoolWorker-1: Process PoolWorker-2: Traceback (mo

1熱

1答えて

スクイピースパイダーからの出力がスクラピーシェルよりも

私はスクレイピーが新しく、なぜ私がスクリーニングシェルから必要な要素を抽出できるのかを理解しようとしていますが、コマンドラインから作成したスクリーピースパイダーではありません。次返し pipenv run scrapy shell http://quotes.toscrape.com/ その後 response.css('small.author::text').extract() ：これ

0熱

1答えて

BeautifulSoupで入力タグからsrcを抽出するには

入力タグからsrcを抽出したいのですが、私がbeautifulsoup結果を取得したら、srcは無視されます。 for i in soup_image.find_all('input'): print(i) 私は、srcの値を取得したいです。ただし、結果では値は無視されます。これは元のタグです（ブラウザで調べます）。 <input src="https://www1.wi.to/

1熱

1答えて

なぜ、私は（明らかに）異常ですかAttributeError： 'bytes'オブジェクトに '_all_strings'属性がありませんか？それを回避する方法はありますか？

私はこのAttributeErrorの解決策を探し続けてきましたが、解決策は見つからず、 '_all_strings'の取引を見つけることはできませんでした。ウェブクローラーをコーディングしたいのですが、ページの上部と下部にナンセンスがたくさんあります。そのため、HTMLコードをクリーンアップして、不要なノイズを先頭から除外していますWebページの下部に表示されます。私は、具体的には、以下のそ

0熱

1答えて

JavaScriptスクリプトからデータを抽出するための治療

私はespnのウェブサイトからゲームのオッズを抽出しようとしています。「moneyLine」のオッズはスクリプトに埋め込まれており、私はアクセス方法を理解できません。理想的には、私は各ゲームの行の確率を持っています。私はチーム名と得点を列で取り出すことができました。 scrapy shell fetch('http://www.espn.com/nfl/schedule/_/week/1')

0熱

1答えて

Apache Nutchでクロール中のエラー

Hadoop（2.5.2）マルチノードクラスタ（AWS EC2マシン）の上にApache Nutch 2.3.1をインストールしました。 Nutchファイルを適切に設定しました（マスターノード上）。私はseed.txtファイル（urlがクロールされる）をmasterからHdfsファイルシステムに移動しました。今度は、次のコマンドを実行してクロールします。 bin/hadoop jar /home/

0熱

1答えて

スパイダーリンクを辿っていない - 治療

私は3ページに続くスパイダーを構築しようとしています。私はシェルの応答をテストしましたが、一緒に動作していないように見えますが、私はなぜそれがわかりません。以下の私のコード： # -*- coding: utf-8 -*- import scrapy class CollegiateSpider(scrapy.Spider): name = 'Collegiate'