URLをクロールするurl \ node.jsで動的リンクを取得する方法

Question

js-crawlerを使用してウェブサイトをクロールしていて、CNNの一部であるits landing page links are inside（何らかの理由で動的に生成されるURL）が発生しました。 本当にスクリプトに触れていないクローラです。どうすればいいですか？私のnode.jsクローラに加えて私自身のコードを書くべきですか？この動的な振る舞いをどのように処理するかを知っている高度なクローラはありますか？

Answer 1

答えに私のコメントを作る：

は、クライアント側のJavaScriptによって生成されたコンテンツをクロールすることも、Googleは完全には解決していない複雑な問題です。

これを真に行う唯一の方法は、サーバーに安全にサンドボックス化されたある種のヘッドレスブラウザを使用して、ページがブラウザのような環境に読み込まれ、独自のスクリプトを実行して独自の結果のDOMを調べることができます。

でも、必ずしもユーザーインタラクションを必要とするコンテンツは生成されません（コンテンツを表示するためにタブをクリックするなど）。