動的ページを含むクロールウェブサイト

Question

ウェブサイトをクロールし、フォーム提出後に動的に作成されたページから情報を抽出する必要があります。

私がクロールする必要がある情報は、主にこれらのサイトのデータベースに由来します。

を追加しました：

クローラは通常、別のハイパーリンクからジャンプすることによって動作します。したがって、これらは主に静的なページです。静的には存在せず、オンザフライで作成されたページのクロールはどうでしょうか。

Answer 1

クローラの観点からは大きな違いはありません。あなたはまだgenered HTMLを取得しています。

注意する必要があるのは、無限のページ数につながるリンクだけです。動的に生成され、次/前の月/年へのリンクを持つカレンダー。