ウェブボットはどこから始めるのですか？

Question

私は、Webサーバー上で（好ましくは）実行できる自動スクリプトを作成し、Webページのオブジェクトに対して単に「クリック」するだけです。私はPythonの初心者です。これがどんな言語で使われていようと、私はどこから始めたらいいかここに行くと思っていました！これは、スクリプトに広告を詐欺させたり、違法な行為をさせたりするように思えるかもしれませんが、別のウェブサイトとやり取りするだけです。

Answer 1

私はPython ライブラリをお勧めします。これは、シミュレートされたブラウザとして機能するように設計されています。私はスクリプトからいくつかのWebインターフェイスを駆動するためにそれを使用しました。

Answer 2

.NETパッケージのWebBrowserコントロールの使用をお勧めします。すべてのDOM要素にアクセスして、どのWebサイトとも完全に対話できます。ここに短い説明がありますarticle

まだPythonが好きな人は、mechanizeが良い方法かもしれません。

Answer 3

私はおそらくTwillで始まります。スクリプト言語やPython APIを使用できます。

Answer 4

それは私がそれをPHPやPerlで行わ見てきた、とあなたはおそらく他の多くの言語でそれを行うことができ、Pythonのである必要はありません。 一般的なアプローチがある：

1）あなたは、あなたのアプリにURLを与え、それがそのURLにHTTP要求を行います。私はこれをphp/wgetでやったと思っています。おそらくそれを行う他の多くの方法。

2））、それらにHTTPリクエストを送信し、本当に（あなたは「クリック」したい他のURLに対するHTTPレスポンスをスキャンし、それらに要求を送信します。 ）; - リンクの解析は通常の正規表現（それは重要なものだあなたは、正規表現に精通していない場合は、それをブラッシュアップ）のいくつかを理解する必要があります。