複数のネストされたWebページからのデータの解析

Question

基本的には、異なるアイテムに関する一連のデータを持つウェブサイトがあり、ツリー構造のアイテム（http://www.isoldwhat.com/getcats/fullcategorytree.php）を記述できるようになっています。すべてのカテゴリを分割してJsonファイルにエクスポートしたいと考えています。私が抱えている問題は、各カテゴリを開くには、それをクリックしてリロードする必要があるということです。私は各カテゴリのクリックをエミュレートしなければならないと思う。このデータを解析するための最良の方法は何でしょうか？私はおそらくいくつかのjQueryを使用するつもりでしたが、私は他のオプションにもオープンしています。

Answer 1

オプションを開いている場合はSelenium WebDriverを使用します。私はウェブページ上のデータを掻き集めて保存し、レポートを作成しなければならないプロジェクトに使用しました。私も実際のユーザーのナビゲーションをエミュレートする必要があり、これは完璧です。ドキュメントはかなり簡単です。始めるのは簡単です。 30分で、私は簡単な検索ページから結果を拝借していました。

私も使用HTML Agility Pack特定のデータを解析します。これらの2つの組み合わせは、あなたが行きたいところにあなたを得ることができるはずです。