ウェブサイトからデータを自動的に掻き集めるためのJavascript関数が必要

Question

自動的にログインしてウェブサイトから詳細をスクラップするにはJavaScript関数が必要です。私は、サーバー側のデータベースに保存されたログインの詳細を持っています。私は、これらのログインの詳細を使用し、Webサイトにログインし、そこからいくつかの基本的な情報を削り取る必要があります。

URLの動的iframeによってこれを行うことができると聞きました。これを実現する方法についての詳細を知る必要があります。

Answer 1

これは、JavaScriptのフロントエンドでCURLとPHPを使用しようとするのではなく、PhantomJSのようなヘッドレスブラウザの仕事のようです。あなたのサーバーにいくつかのソフトウェアをインストールする必要がありますが、これは簡単ですが、コマンドラインにアクセスする必要があります。

PhantomJSは、JavaScript APIを備えたヘッドレスWebKitです。 DOMハンドリング、CSSセレクタ、 JSON、Canvas、SVGなど、さまざまなWeb標準に対する高速で のネイティブサポートがあります。

PhantomJS速いヘッドレス・テスト、サイト スクレイピング、ページキャプチャし、SVGレンダリング、ネットワークの監視や多く 他のユースケースに最適なソリューションです。

私はこれを前にこの目的のために使っています。あなたは、あなたが好きなjavascriptフレームワーク（jQueryなど）をページのDOMに挿入して、要素の周りを簡単にナビゲートすることもできます。