scrapy

0熱

1答えて

私はcsvファイルを入力として使用していますが、私のcsvが大きすぎて直接使用できないため、入力として使用するいくつかのcsvファイル内のフォルダを使用したいので、。私の作業スクリプトの始まりはここにある： class mySuper(CrawlSpider): name="super" f = open("/root/super/super/urls.csv")

1熱

1答えて

スクリーニング複製するreuqestを繰り返す方法

APIをスクレイプするようにリクエストすると、正しく読み込まれない場合があります。価格の代わりに-1を返します。私は-1を取得している限り、要求を繰り返すためにwhileループを作成しますが、重複要求のために最初の要求後にスパイダーが停止します。私の質問は、どうやって重複したリクエストを処理するのですか？コード例：心の中で裸 is_checked = False while(no

2熱

1答えて

ページ上のリンクから情報を取得する

私はpython 3.5でscrapyを使用してスクレーパーを構築しています。私は群集資金調達フォーラムでプロジェクトを募集し、データをhdf5ファイルに保存しています。プロジェクトをスクレイピングするには、URLのリストを読み込み、それをスクラップして、各プロジェクトの情報を複数の列を持つテーブル行として保存します。残念ながら、一部のプロジェクト情報はサブリンク（例... /メソッド）に配置

0熱

1答えて

scrapyシェルはipythonを使用していません

スクリーンショットでわかるように、ipythonがインストールされ、動作します。公式文書に続いて、私はcfgファイルに使用するように指示しました。しかし、もしそれがscrapy shellがそれを使用していないようであれば。それは正常です、私は間違いをしましたか？なぜshell = ipythonは何もしませんか？

0熱

1答えて

親要素と次の要素を取得する方法

指定要素の親を取得したい（クラスがmw-見出しであるスパン）、次にこの親の最初の次の要素を取得したい。 <h2> <span class="mw-headline" id="Botany">Botany </span> <span class="mw-editsection"> <span class="mw-editsection-bracket">

0熱

1答えて

Scrapy - ヘッダにアイテムキーを持つcvsファイルをエクスポートするには

csvをエクスポートするのに-oコマンドを使用したくないのですが、私のscrapyスクリプトから作成します。私のcsvファイルはアイテムでうまくエクスポートされますが、ヘッダーはありません。私のアイテムのキーに対応するヘッダを持っていたいと思います。アイテムのキーでヘッダーを修正するにはどうすればよいですか？いくつかのフォーラムやチュートリアルでは、headerをpipelines.pyで

0熱

2答えて

複数の返品を返す

私はScrapyを初めて使いました。私は1ブロックで複数のアイテムを返す方法について本当に迷っています。基本的には、テキスト、作成者名、およびその引用に関するタグのネストされたタグを含む見積もりを持つ1つのHTMLタグを取得しています。ここのコードは1つの見積もりを返します。それだけです。それは、ループを使用して残りの部分を返しません。私は何時間もWebを検索してきましたが、私はそれが得られな

0熱

1答えて

スクラップを使用してショッピングストアデータをクロールする

私は、スクラピーを使用して、ショッピングウェブサイトを価格でクロールしようとしています。 response.xpath('//*[@id="content"]/div[2]/div/div/div[5]/div[1]').extract() 結果がこれです：： [u'<div class="subcategory-title"><span class="placeholder"></span>

0熱

1答えて

私は、検索結果のページから各記事のすべてのリンクを取得したいページネーション

を使用してGEOデータセットからの検索結果のURLリンクを取得します。 <div class="pagination">から、それは言う： <a name="EntrezSystem2.PEntrez.Gds.Gds_ResultsPanel.Entrez_Pager.Page" title="Next page of results" class="active page_link next"

0熱

1答えて

エラーツイストモジュール

は、それが特定のエラーをスローし続け3.6.3： building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visu