URLアドレスを変更せずに複数のページを解析する

Question

hereからテーブルの内容を解析したいと考えています。ただし、テーブルは複数のページに分かれています。私の問題は、urlアドレスに変更がないため、page 2以降のページを解析できないことです。他のページが保存されている場所にあるurlのアドレスを検索するにはどうすればよいですか？私はlxmlとrequestsを使用しています。

Answer 1

あなたはクロームデベロッパーツールを開き、ページネーションコントロールに「2」をクリックすると、スクリプトによって行われた要求がページ「2」の日付を取得するために表示されます。

POST https://www.mutualfundindia.com/MF/return/TopFundDetails?page=2 

フォームデータを持つ：

__RequestVerificationToken:AYv1N1VEGXTeLKMbnHolT_bste-CiFcH1GAjQgh1O7c_Ygm0-wIP3j47yN6e5tzYx3EumwCRBYcxI6825nH28W_qO60ZMlnAm4f1utRjqL4wgokl87pgsV4anV4vKtSjk6XV0g2 
Rank:-1 
Type:-1 
Nature:-1 
SubNature:-1 
cmdAum:1 
Period:1Year 
ShortingOrder:DESC 
hdHeaderId:1Year 

あなたは要素で、ページ上の__RequestVerificationTokenの値を見つけることができます

：

<input name="__RequestVerificationToken"... 

要求の応答は純粋なHTMLです。

このようなリクエストを行うと、すべての日付を解析すると思います。

希望、これは役立ちます。