ウェブスクレイピングURLの問題

Question

米国農作業に関連する各事業の情報と年間収入以上の5,000万ドルを削り取ろうとしています。問題は、検索パラメータのオプションを変更してもURLが変更されないためです。このようなプロジェクトについてどうすればよいか分かりません。どんなヘルプも大変ありがとうございます！

これは私がこすりしようとしているウェブサイトです：http://listings.findthecompany.com/d/a/Crop-Farms

Answer 1

あなたがネットワークをキャプチャする場合は、あなたが検索にヒットしたときにWebページが呼び出しを行っていることがわかります。

http://listings.findthecompany.com/ajax_search?_len=20&page=0&app_id=1662&_sortfld=sales_volume_us&_sortdir=DESC&_fil%5B0%5D%5Bfield%5D=sic_1_4digit&_fil%5B0%5D%5Boperator%5D=%3D&_fil%5B0%5D%5Bvalue%5D=0191&_fil%5B1%5D%5Bfield%5D=_sphinx_universal_search&_fil%5B1%5D%5Boperator%5D=LIKE&_fil%5B1%5D%5Bvalue%5D=Apple&_fil%5B1%5D%5Bignore%5D=false&_tpl=srp&head%5B%5D=company_name&head%5B%5D=_GC_address&head%5B%5D=total_employees&head%5B%5D=employees_here&head%5B%5D=sales_volume_us&head%5B%5D=year_started&head%5B%5D=citystate&head%5B%5D=localeze_classification&head%5B%5D=id&head%5B%5D=_encoded_title&dir_field_1=207944

あなたは実際には異なるパラメータをチェックし、必要なすべてのデータを取得することができます。 私は検索用語として「Apple」を使用しました。これはパラメータとして渡されます。