クライアント側でのWebスクレイピング

Question

これはおそらくこの質問のための最善のタイトルではありません。

私は現在、Webスクレイピング用のPythonスクリプトを使用している私のサーバー上でnodejsアプリケーションを実行していますが、私は同じクライアントの異なるバージョン（潜在的に一意）を見ている個々のクライアントのために、サイト。

私は理想的な世界です。私は、javascriptを使用して、ページからHTMLレスポンスを取得したいと考えています（右クリックして表示ソースを選択するとChromeで見ることができます）。

しかし、私がオンラインで読んだことから、これは可能ではないようです。私は、取り除くことができる応答（anyorigin.comなど）を提供するサイトを認識しています。しかし、私は本当に私には適していません。なぜなら、各ユーザーは、私が掻きたいと思うサイト上で違うものを見る可能性があるため、ユーザーが見ているものをこすり落とすことができるからです。私が現在使用しているPythonスクリプトはこれを行いますが、Pythonをインストールして実行することができますが、これは保証されません。

本文の謝罪。

この問題の解決方法はありますか？

Answer 1

いくつかの調査と提案を受けた後、Chrome Developerサイトの簡単なガイドを使用してChrome拡張機能を作成し、CORSrequestを使用して必要なものを取得しました。

誰もがこの質問を見つけ、助けが必要な場合、私はさらに詳細/支援:)

Answer 2

私は最近、非常に似たようなことをしようとしていましたが、残念ながら、クライアント側でこれを行う方法はありません。あなたはトリッキーなことをすることができるかもしれませんし、あなたがそれを扱うサーバをあなたに戻すために必要なデータを「投稿」することもできますが、それが非常に効率的で簡単なものになるとは思いません。

何か見つかった場合は、共有してください。