私のタスクは、pythonでヘッドレスWebkit(PyQt4.QtWebkit)を使用してGoogle検索結果をクロールしています。 モジュールはPyQt4を使用して結果を正常にクロールしていました。amazon ec2.Soでこのスクリプトを実行する必要があります。Xvfb(ec2のxサーバーなし)を使用する必要があります。xvfb ubuntu 11.04でエラーが発生しました
同時に私のモジュールはloop.Soで実行する必要があり、それはいくつかのループモジュールがに実行されるいくつかのiterations.Afterの罰金働いていた「XVFB・ラン:エラー:Xvfbの起動に失敗しました」
をどのように解決するはずですか?
for i in range(10):
try:
query_dict["start"] = i * 10
url = base_url + ue(query_dict)
flag = True
while flag:
parsed_dict = main(url)
time.sleep(8.4)
flag = False
except:
pass
メイン(URL):
def main(url):
cmd = "xvfb-run python /home/shan/temp/hg_intcen/lib/webpage_scrapper.py"+" "+str(url)
print "Cmd EXE:"+ cmd
proc = subprocess.Popen(cmd,shell=True,stdin=subprocess.PIPE,stdout=subprocess.PIPE)
proc.wait()
sys.stdout.flush()
result = proc.stdout.readlines()
print "crawled: ",result[1]
return result
pyqt4を使用して、すべてのHTML結果をフェッチしますwebpage_scrapper
は、これが私のループです。 xvfbが失敗してループしないようにするにはどうすればよいですか?
私は、これは素晴らしい作品のAmazon EC2サーバインスタンス – Nava