web-crawler

4熱

1答えて

このwebsiteのデータテーブルを削りたいですか？このページのページソースを確認しても、そのページはページソースに存在しません。ウェブサイトを更新するとは、それから私は、ネットワーク情報を確認し、データテーブルは、このURLにPOSTリクエストを送信することにより得られるようだ： http://datacenter.mep.gov.cn:8099/ths-report/report!list

0熱

1答えて

AttributeError： 'NoneType'オブジェクトに属性 'div'がありません

タイトルのようなエラーが表示されます。おそらく間違った要素を入力したようです。私はコードを一から書きませんでした。他のサイトを以前にクロールしていたコードに適用しました。要素を変更してそれを変更するにはどうすればよいですか？私はよく書いたと思います。しかし、エラーがあります。 ps私はapiを使用するコメントがあるのでしょうか？しかし、これは限られているので、これを使う方法です。あなたがル

0熱

1答えて

BeautifulSoupはタグの間に何も得られません

私はWebcrawlerを書くのに초급です。 http://www.creditchina.gov.cn/search_all#keyword=&searchtype=0&templateId=&creditType=&areas=&objectType=2&page=1の検索エンジンを使用して、自分の入力が有効かどうかをチェックします。たとえば、912101127157655762は有効な入力

-1熱

2答えて

スパイダーを使ってスパイダーを作成し、データをCSVに保存できない

私はかなり治療に慣れています。ここでは、アマゾンのURLを使ってスパイダーを作成し、csvに出力できません。ここでは私のコードです： import scrapy class AmazonMotoMobilesSpider(scrapy.Spider): name = "amazon" start_urls = ['https://www.amazon.in/Samsung-Mobiles

-3熱

1答えて

ビリオントリプルチャレンジとは何ですか？

セマンティックウェブと何か関係があると私は理解していますが、これが何であるか分かりません。

0熱

1答えて

WikiPediaの単語頻度記事

記事全体を保存せずに処理すると、ウィキペディア記事の特定の単語の頻度をどのように得ることができますか？たとえば、この記事では「インド」という言葉がどのように表示されるのでしょうか。https://simple.wikipedia.org/wiki/India

0熱

1答えて

Scrapyを使用してサイト全体のすべてのURLを取得します

人！私はSEOの目的でサイト全体の内部URLをすべて取得しようとしていますが、最近私はこのタスクで私を助けるためにScrapyを発見しました。しかし、私のコードは常にエラーを返します： 2017-10-11 10:32:00 [scrapy.core.engine] INFO: Spider opened 2017-10-11 10:32:00 [scrapy.extensions.logst

0熱

1答えて

Nutchのシードリストにクロール中に見つかったURLを挿入する方法

CentOSのLinuxリリース7.3.1611にnutch 1.13とsolr-6.6.0を統合しました。シードリストに/ usr/local/apacheにある約10のURLを与えました-nutch-1.13 /のURL/seed.txt私が使用されるコマンドは /usr/local/apache-nutch-1.13/bin/crawl -i -D solr.server.url =であるt

0熱

1答えて

Nutchのクロールを開始できません

私は、Nuch 2.3 + ElasticSearch 1.4 + HBase 0.94をUbuntu 14.04にこのtutorialに続けて展開しようとしています。私が手 $NUTCH_ROOT/runtime/local/bin/nutch inject urls ：私はやってURLを注入するクロールを開始しようとすると InjectorJob: starting at 2017-10-