Mozilla Frameworkを使用した非GUIボットの作成

Question

Mozilla Frameworkを使用して非GUIボットを作成する方法を探しています。ボットは、GUIが必要ないことを除いて、通常のブラウザ（自動的に関連するJSファイルをダウンロードしたり、XMLHTTPRequestを作成したり、JS操作を実行したり、DOMを変更したりする）のように動作するはずです。

X、GTK/KDEなしでXULRunnerをビルドすることができますか（GUI依存関係なし）、私はFreeBSDサーバー6.4上でボットを実行します。

ちょっと変わったかもしれませんが、ブラウザのように動作するボットが必要です.JSを実行し、DOMを変更し、非GUI環境で動作するフォームを送信します。

私は、Lynx、リンク、Hulahop、Chrome V8エンジン、WebKit JavascriptCoreなどの他のブラウザを調べましたが、望ましい出力はまだ見つかりませんでした。

学校のプロジェクト、論文の一部です。我々は、予算航空会社の価格変動を観察するために使用し、1年間の長期間のデータ収集の後、価格戦略と顧客行動を推測する必要があります。これは重大な最終年度プロジェクトです。

ヒントやご協力をいただければ幸いです！前もって感謝します！

よろしくお願いいたします。

Answer 1

1. はい、可能です（ただし、コードの変更は非常に多く必要です）。

2. いいえ、わかりません。

3. このアプローチはお勧めできません。あなたのコメントから、あなたはウェブページを掻き集めるように思えます。 JavaScriptを本当に使用する必要がある場合は、スタンドアローンのJavaScriptエンジンを使用できます（Mozillaは利用可能ですhere）。それ以外の場合は、Beautiful SoupをPythonに、Twillを使用します。 this questionもお読みください。

Answer 2

seleniumで処理を進めることができます。これはレコード/テスト/プレイツールですが、その核心はDOMを操作しています。

更新Grundlefleckのコメントから：実際のテストを起動するためにあなたは、Java、Rubyの、プレーンなHTMLや他の可能なドライバでテストを記述することができますselenium remote-control、そこにある通り。