2017-04-06 1 views
-1

私はJavaプログラミングで新しいので、私の質問はばかげているかもしれません! 私はPythonでDjango経由でウェブサイトを構築しています。私は別のサイトからいくつかのコンテンツをダウンロードし、私のリアルタイムでそれらを表示する必要があります。私はそのページのHTMLコードをダウンロードし、それらを(bs4 & ...)を擦ってデータを抽出することによってこれを行うことができますしかし、問題は私の標的部位は、インタラクティブな動作のためにJavaScriptを使用して、私は(Pythonのurllibはや要望を使用して)、その内容をダウンロードしようとすると、それだけで、たとえば私にいくつかのJavaスクリプトを送信: は、私は内容があることを期待よう:Webページデータベースの内容をダウンロードするには?

<td><a>data to scrape 1</a></td> 
<td><a>data to scrape 2</a></td> 
<td><a>data to scrape 3</a></td> 
... 

が、それを次のようなものです:

<tr ng-repeat="toy in letter.list | filter:symbol_srch"> 
<td><a>{{toy.s}}</a></td> 
<td>{{toy.n}}</td> 
</tr> 

そして、 "toy"変数はデータベースのバックエンドによって提供されているようです。

もちろん、ブラウザやパッケージ(たとえばセレン)を使用してそのサイトをスクレイピングする前にレンダリングすることはできますが、私のサーバーにはブラウザがなく、ポータブルバージョンのインストールや使用は許可されていません。

私はそのサイトのバックエンドがブラウザに変数を送信し、ブラウザがそれらを読み込んでレンダリングできるので、これらの変数を取得してブラウザなしで読むことができると思います。 誰もが何らかのアイデアを持っていますか?または外部のソフトウェアなしでPythonでサイトコンテンツをレンダリングする方法はありますか?

答えて

0

Chromeデベロッパーツールの[ネットワーク]タブで、そのページを参照すると、ブラウザからのAPI呼び出しを確認できます。その後、応答と必要なすべてのものを使ってトラフィックを調べることができます

関連する問題