2017-09-29 9 views
0

私がthis webpageに行くと、テキスト "信息公开"の緑のボタンが表示されます。私の仕事はこの緑色のボタンのすべてのリンクをダウンロードすることです。 10個のボタンがある場合は、10個のリンクがすべて必要です。リンクがある場所を見つける

ただし、Chromeでページをダウンロードすると「信息公开」というテキストが見つかりません。私は、 "信息公开"に関する情報をダウンロードするためにいくつかのJavascriptが実行されていると思われます。実際、Chromeを使用して緑色のボタンを調べると、ダウンロードしたHTMLファイルで見つからない情報が見つかります。

リンクの場所を確認するにはどうすればよいですか?

+0

ページが完全に読み込まれたら、Phantom.jsを試してみましたか? – Strernd

+0

Nope。私はウェブサイトを見た。それは可能だが、ソフトウェアをダウンロードする必要のない比較可能な/より簡単な選択肢があるのだろうか? – wwl

+0

PythonやRを使う方法がありますか? – wwl

答えて

1

次の2つのJavaScriptベースのオプションがあります。

a)はJavaScriptにロードされたコンテンツに問題があってはならない、リンクについてはサイトをこすりするPhantom.jsのようなヘッドレスブラウザを使用します。これは、スクレイピングを自動化して(毎日実行してどこかにリンクを投稿する場合など)、解決策になります。

b)はるかに単純ですが自動ではありません:ChromeコンソールでjQueryを使用してすべてのリンク。たとえば、このコードは、スタックオーバーフローの右側にある黄色のコミュニティボックスのリンクを表示します: $('.community-bulletin a').each(function(){console.log($(this).attr('href'))})

関連する問題