WebスクレイピングJavascript Pythonを使用して

Question

私はBeautifulSoupを使用してウェブサイトをスクラップするのに慣れていますが、このウェブサイトは異なります。 soup.prettify（）にJavascriptコード、たくさんのものが戻ってきます。私は実際のウェブサイト（会社名、電話番号など）のデータをこのウェブサイトで削っていきたいです。 Main.jsなどのスクリプトをスクラップして、Webサイトに表示されるデータを取得する方法はありますか？

クリアバージョン：

コードは次のとおりです。

<script src="/docs/Main.js" type="text/javascript" language="javascript"></script> 

これは、ウェブサイト上にあるテキストを保持しています。私はこのテキストを傷つけたいと思っていますが、HTMLではなくJSを使用しています（私はBeautifulSoupを使用していました）。

Answer 1

実行時に生成されたテキストをJavascriptでスクラップできるかどうかを確認する必要があります。その答えはある種のものです。

Javascriptでページを実行して読み込むには、PhantomJSのような種類のheadless browserを実行する必要があります。次に、ヘッズレスブラウザが生成するHTMLを、それを解析するためにBeautifulSoupに供給する必要があります。

最新の質問

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.

 関連する問題

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.