web-crawler

1熱

1答えて

私はHTMLソースからすべてのURLを抽出するのにlxmlを使用していますが、そのURLの位置も取得したいと思います。 URLの最初の文字位置。今私はこのようなものを持っている： import requests import lxml.html r = requests.get(url) soup = lxml.html.fromstring(req.text) links = []

-1熱

1答えて

抽出データ - Pythonの

誰かが私を助けることができる私はCSVに460ページから顧客名、カスタマーレビューや時間を抽出したいのpythonで複数のWebページから抽出データファイル。あなたがスクラップをしたいサイトは、常にあなたがセレンを使用することができます同じであればここでは Url

0熱

1答えて

Python 3 - urllib.requestにカスタムヘッダーを追加するリクエスト

Python 3で、次のコードはWebページのHTMLソースを取得します。 import urllib.request url = "https://docs.python.org/3.4/howto/urllib2.html" response = urllib.request.urlopen(url) response.read() urllib.requestを使用しているときに

0熱

1答えて

- robots.txtの/ sitemap.xmlとは、いくつかのウェブサイトのために何も

につながるが、例えばthisウェブサイトはrobots.txtとsitemap.xmlの両方を持っているが、彼らは、XMLまたはJSON形式で記載された製品を持つ任意のページにつながりません。これらのサイトに掲載されている製品でサイトマップを見つける方法はありますか？私は今まで運のない要素とSEO Quakeを検査しようとしました。おかげで

0熱

1答えて

Nutchを有効にするにはhttpリダイレクトに従いますか？

私のクロール中に404エラーにリダイレクトするページがありますが、 "readdb"コマンドを使用すると、404の代わりに302のステータスが表示されます。次に、設定ファイルを検索してオプション "http.redirect.max"が見つかりました。 Response response = getResponse(u, datum, false); ：私は、ソースコードを読んだ後、私は、す

0熱

1答えて

TwitterクローラでPython

私は、Twitterのツイートからのデータを集めようとしています。これは私のコードです。 #API consumer_key = "API key" consumer_secret = "Secret key" auth = tweepy.OAuthHandler(consumer_key, consumer_secret) #Access Token access_token =

0熱

1答えて

なぜ使用apscheduler：インターネットから

from apscheduler.schedulers.blocking import BlockingScheduler from apscheduler.triggers.cron import CronTrigger def p(): print("a") if __name__ == '__main__': scheduler = BlockingSched

0熱

1答えて

rのgetURL関数でエラーが発生しました

異なる言語のテキストを英語に自動的に翻訳しようとしています。私は通路をやっているが、この他の質問に次のように説明しGoogle translate via web scraping r が、私はこのエラーを取得： Error in function (type, msg, asError = TRUE) : Illegal characters found in URL 私のコード getP

2熱

1答えて

WebCrawler、値引きされたアイテムはほんのわずかです - インデックスエラー

私はプログラミングが初めてで、初めての小さなWebクローラーをPythonでビルドしようとしています。目標：は、商品一覧ページをクロール - ステータスCSVファイルに保存 - ブランド名、商品名、元の価格と新価格こする：私はブランド名を取得するために管理してきました、記事を元の価格だけでなく、それらを正しい順序でリスト（例えば、10個の製品）に入れる。すべての商品にブランド名、説明、価格がある

0熱

1答えて

スパイダー：importError：DLLの読み込みに失敗しました：要求されたサービスを完了するためのシステムリソースが不足しています

"splearn.cluster import KMeans"からスパイダーでインポートを実行しているときに、以下のエラーが表示されます： importError：DLLロード失敗：要求されたサービスを完了するためのシステムリソースが存在します。この問題を解決するにはどうすればよいですか？