HtmlAgilityPack javascriptで非同期にロードされたWebページをダウンロードします。

Question

私はHtmlAgilityPackを使用していて、いくつかのWebページをロードしようとしています。一部のWebページはJavaScriptベースであり、非同期的に読み込まれます。 x秒後またはページが完全にロードされたことを確認した後にWebページをロードする方法はありませんか？

Answer 1

Html Agility PackはコンテンツをDOMに動的にロードするためのクライアント側の呼び出しを模倣していません。それはサーバーによって与えられた静的ページをダウンロードしているヘッドレススクレーパーです。そのコンテンツが必要な場合は、クライアントブラウザからの呼び出しを模倣する必要があります。あなたがヘッドレススクレーパーを使用するのではなく、ブラウザーが行う呼び出しをエミュレートしようとしたくない場合は、Seleniumのようなものを使用して、これを行うことができます。逆に、ブラウザーはホストマシンで開かれます。