scrapy-shell

1熱

1答えて

webcrawling - bandcamp.comからitem-titleを取得

私は、新しいリリースのbandcamp.comの「Discover」の部分（rock-> rock-> new arrivals）からitem-titleを取得しようとしています。ページの関連するソースコードの scrapy shell 'https://bandcamp.com/?g=rock&s=new&p=0&gn=0&f=all&w=0' 一部は次のようになります。 <div clas

0熱

1答えて

Pythonのscrapy 302（私は、元のページをバックアップしたい）

私はこのページにを https://movie.douban.com/subject/1292052/をこすりするつもりだが、URLは、私は戻って最初のページへ最初のページの解析を使用していた方法を http://m.douban.com/movie/subject/1292052 にリダイレクトway（xpath）に行く？感謝！ありがとう！

1熱

1答えて

NotSupported：サポートされていないURLスキーム ''：そのスキームで利用可能なハンドラーがありません。

このサイトをスクラップしようとしていますが、 'NotSupported：サポートされていないURLスキーム' '：なぜルールが間違っていないのであれば、なぜ起こっているのか、あなたの提案は何か、助けてください。どうもありがとう。コードはここにある： from scrapy.spiders import CrawlSpider, Rule, BaseSpider from scrapy.lin

1熱

1答えて

空のjsonファイルを返す治療

私はウェブサイトからデータを取得しようとしていますが、すべて正しいと思われ、xpathはシェル上でテストされました。 [ 私のコードの何が問題になっている： # -*- coding: utf-8 -*- from scrapy.contrib.spiders import CrawlSpider class KabumspiderSpider(CrawlSpider):

0熱

1答えて

なぜ治療用印刷が\ t \ n \ nどこにテキストがあると思われますか？

私は初心者ですが、勉強をしていますが、学習しています。私はthis pageを解析しています。ページのアドレスを掻き取ろうとしています。私はscrapyシェルでこれを行っているので、私はして開始：正常に動作します scrapy shell https://www.marksandspencer.com/MSStoreDetailsView?storeId=10151&langId=-24&SA

0熱

2答えて

どのように治療を使用して特定のキーワードを使用してGoogleニュースを抽出するには？

私は怒鳴る与えられたリンクからGoogleのニュースを抽出しようとしている、scrapyに新しいです：は https://www.google.co.in/search?q=cholera+news&safe=strict&source=lnms&tbm=nws&sa=X&ved=0ahUKEwik0KLV-JfYAhWLpY8KHVpaAL0Q_AUICigB&biw=1863&bih=966

1熱

1答えて

Robots.txtとAllow？

ウェブクロールが新しく、特定のrobots.txtファイルの理解に問題があります。 User-agent: * Allow:/ Sitemap: sitemapURLHere だから私は/hereを見上げると、それは任意のパスのためだった。この場合、これは、ウェブサイトを持っているものです。これは、ウェブサイトがすべてのページをクロールできることを意味しますか？しかし、ときに私はsite

0熱

1答えて

インポートエラー：コマンドプロンプトでscrapyを使用するとDLLが失敗しました

scrapyコマンドを使用してフォルダを作成しようとすると、以下の問題が発生します。私はこの問題を捜し求め、解決策を見つけましたhttps://groups.google.com/forum/#!topic/scrapy-users/8N6V_OGUqtI 私はそこに提供されたステップを試しましたが、私はまだこの問題を抱えています。これを解決するための助けがあれば幸いです。 (C:\Users\

1熱

2答えて

URLと基本認証資格情報を持つscrapyシェルはどのように使用できますか？

scrapy shellを使用し、基本認証資格情報を必要とするURLのテスト応答データを使用します。私はscrapyシェルのドキュメントをチェックしようとしましたが、そこにそれを見つけることができませんでした。私はscrapy shell 'http://user:[email protected]'で試しましたが、うまくいきませんでした。誰かが私がそれをどのように達成できるか知っていますか？