スクリーンスクレープページ番号付きデータ

Question

私はこのウェブサイトでの検索から返された利用可能なすべての店舗のリストを取得しようとしています。

https://www.metropcs.com/find-store.html.html

問題

は、それが唯一の4または5時に戻って、「すべてを見る」ためのオプションを持っていないということです。私はChromeのPostmanとFirefoxのAutoPagerを使用して、バックグラウンドのデータを何とか見ることができるかどうかを確認しようとしましたが、できませんでした。 JSONの傍受ツールも調査していました。私はそのサイトがJSONをリターン・セットで使用していると信じていましたが、必要な実際のデータを見つけることができませんでした。

これまで、私は '印刷プレビュー'を押してその方法でリストを取得できました（Excelにコピーしてカスタムマクロを実行して、必要なデータを取り除くことができました）。今も行った。

見つかったすべての店舗、特により大きな返品セットを輸出するためのツールに関するアイデアはありますか？

Answer 1

あなたはこの要求を操作したい： https://www.metropcs.com/apps/mpcs/servlet/genericservlet

あなたは、ページがそのURLへの要求として（とりわけ）、これを送信気づくでしょう：

inputReqParam= 
    {"serviceProviderName":"Hbase","expectedParams": 
    {"Corporate Stores":...Truncated for clarity...}, 
    "requestParams": 
    {"do":"json", 
     "minLatitude":"39.89234063913044", 
     "minLongitude":"-74.85258152641507", 
     "maxLongitude":"-74.96578907358492", 
     "maxLatitude":"39.979297160869564" 
    }, 
    "serviceName":"metroPCSStoreLocator"} 

あなたが操作する必要があります緯度および経度の境界ボックスは、必要な領域を包含します。 （米国全体は[-124.848974,24.396308]〜[-66.885444、49.384358]のようなものです）

お気に入りのブラウザでは、必要なものをJSONレスポンスとして取得するための要求を調整するだけで十分です。