Pythonと美味しいスープを使ってDisqusのコメントを抽出する

Question

この質問は、hereと尋ねられた質問に似ていますが、その答えはあまり役に立ちませんでした。

Disqusを使用しているウェブページからコメントを抽出しようとしていますが、セクションにアクセスできません。

これは私がこれまで持っているもので、それは私がこれに取り組むしようとする可能性がどのようにとほとんど

import urllib 
import urllib2,cookielib 
from bs4 import BeautifulSoup 
from IPython.display import HTML 

site= "http://www.timesofmalta.com/articles/view/20161207/local/daphne-caruana-galizia-among-politicos-28-most-influential.633146" 
hdr = {'User-Agent':'Mozilla/5.0', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'} 
req = urllib2.Request(site,headers=hdr) 
page = urllib2.urlopen(req) 

soup = BeautifulSoup(page,"html.parser") 
title = soup.title.text 
print title 

任意のヒントはありませんか？

Answer 1

私はJavaで無限のスクロールをダウンロードしようとしているときに同じ問題がありました。美しいスープを含む何百万ものことをした後、私はこの問題に取り組む最善の方法は、クロムでデバッグし、動的コンテンツがロードされるときに出てくる請願のURLを取得し、私はさまざまな方法でそれを呼び出すことができるように表現。

たとえば、無限のスクロールを有効にすると、Chromeのデバッグコンソールが開いていると、HTTP申請（おそらくHTTP-get）が表示されます。 URLは、ような構造を持っている場合：

ます。http：www.yourlink.com/get_comments/product/page_offset_numbertoload/

あなたは、のpythonでのHTTP請願書を作成し、それを送信し、応答を取得することができますあなたが探しているデータが格納されています。幸運の男！