私はSeleniumと協力して、New York Timesの記事のすべてのコメントを自動的に読み込みます。読み込まれたコメントは、後で使用するために保管しておきたいと思います。しかし、記事のソースコードを見ると、コメントDIVが空であることがわかるので、NYTはjavascriptを使用してリアルタイムでコメントを動的に記入する可能性が高いです。コメントはソースコードにはないので、私はFirebugで見るようにコメントのコードを取得する方法がわかりません。私はと考えています。私はDOMが必要ですが、どんな助けもありがとう!Seleniumを使用して、javascriptで埋められたDIVの内容を取得します
ありがとうございます!
Webドライバを使用していますか?彼らはそれをどのように読み込んでいるのか把握していますかそれはスクロール位置に依存していますか? – epascarello
IDEを使用していますが、これらの目的のためにWebドライバに切り替える必要があると考えています。彼らがどのようにそれを読み込んでいるかわからないが、私の教授はそれがjavascriptであるかもしれないと思う。スクロール位置は問題ではないようです。 – olivebeq