Scrapy - href =＃

Question

の場合、複数のページからのデータのスクレイピング初心者はこちら。私は複数のページからデータを削り取ろうとしています。各ページには20個のエントリがあり、次のボタンをクリックして次のページに移動します。

<a href="#" onClick="nextPage(2);"> Click me! </a> 

それは私が発見した他の多くの例のようXHRリクエストを使用していないので、このページではユニークです：タグがあるので、しかし、URLは変更されません。いくつかの答えは、Chrome/Firefox開発ツールを使ってGETリクエストを監視し、それらを複製することを提案しています。このサイトはXHRリクエストを生成するのではなく、一連のjavascriptリクエスト（1つのAJAX）を生成します。

私は、表示されたデータにスクレープを続けることができるように、次のページ（可能であれば、好ましくはセレンなしで）に転送するためにスクラピーを使いたいと思います。

これは参照用のWebページである：http://www.australianschoolsdirectory.com.au/search-result.php

初めてアスカー。前もって感謝します！

Answer 1

次のページを取得するには、form-dataをpageNumとし、値としてページ番号を渡す必要があります。このコードは、最初の5ページを取得し、ブラウザでの応答を示しています

>>> from scrapy.http import FormRequest 
>>> url = 'http://www.australianschoolsdirectory.com.au/search-result.php' 
>>> for i in range(1, 6): 
...  payload={'pageNum': str(i)} 
...  r = FormRequest(url, formdata=payload) 
...  fetch(r) 
...  view(response) 
... 
2017-05-20 21:52:22 [scrapy.core.engine] DEBUG: Crawled (200) <POST http://www.australianschoolsdirectory.com.au/search-result.php> (r 
eferer: None) 
True 
2017-05-20 21:52:25 [scrapy.core.engine] DEBUG: Crawled (200) <POST http://www.australianschoolsdirectory.com.au/search-result.php> (r 
eferer: None) 
True 
2017-05-20 21:52:28 [scrapy.core.engine] DEBUG: Crawled (200) <POST http://www.australianschoolsdirectory.com.au/search-result.php> (r 
eferer: None) 

あなたはすべてのページは、単に488