ウェブページから動的コンテンツを保存していますか？

Question

ウェブサイトから動的テキストを保存し、それをサーバー上のファイルにダンプできますか？私が興味を持っている具体的なケースは、このページの曲のタイトルを保存することです。http://www.z1035.com/player.php と私のサーバー上のファイルにすべての曲のタイトルを保存しています。これは可能ですか？どのような方法でこれを行うことができますか？

Answer 1

あなたが言及していることは、一般的に「擦り傷」と呼ばれています。ここではPHPでそれを行うための一つの方法についての記事です：

http://www.developertutorials.com/blog/php/easy-screen-scraping-in-php-simple-html-dom-library-simplehtmldom-398/

Answer 2

Pythonのurllibはライブラリが私の意見では、スクレーピングはかなり容易になります。

import urllib, re 

url = "http://www.z1035.com/player.php" 
f = urllib.urlopen(url) 
t = f.read() 
# use regular expression here 
m = re.search(t, "some pattern") 
print m.group(1) 

外部リソースがローカルファイルであるかのように読み込み、必要に応じて解析することができます。

私が聴いたラジオ番組のためのすべてのトラックリストを保存したかった。私はPythonを使用してすべてのトラックリストのリストをダウンロードし、プログラムでそれぞれを訪問してその内容をファイルに追加しました。それは非常に便利で、おそらく20行を取った。