Pythonクローラー。

Question

私はクローラの基本構造を設定しました。今、私はいくつかのPHP駆動ウェブサイトでそれをリリースし、それは魅力のように動作します。現在、私はAjaxのコンテンツからデータシートを作成したいと思っています。

現時点では私はMechanize for PYTHONとperlを使用してクローラを構築しています。 MechanizeモジュールはAJAXを実行しません。非同期のajaxによって構築されたコンテンツにはどうすれば到達できますか？

私には、自動化するための実際のブラウザであるSeleniumというものがあります。しかし、これは私の唯一の選択肢ですか？

Answer 1

JavaScript、DOMなどを理解するphantomjsのようなヘッドレスブラウザを実行できますが、JavaScriptを使用してコードを書く必要があります。好きなことをすることができます。

messyでも別の方法があります。

ボタンをクリックすると（FirefoxのFirebugまたはChromeの開発者ツールを使用して）どのようなリクエストが行われたかを確認できます。ページの背後で実行されているJavaScriptをリバースエンジニアリングして、あなたのPythonコードを使って同様のことをしようとするよりも、Spidermonkey