特定のWebサイトからファイルを自動的にダウンロード

私は非常に新しいプログラマーです。ウェブサイトは、私が必要とする多くのzipファイルを提供しています。毎週更新され、新しいzipファイルがアップロードされます。私がする必要があるのは、ウェブから毎週自動ダウンロードするプログラム/スクリプトを書くことです。例えば、これはウェブリンクhttp://www.google.com/googlebooks/uspto-patents-applications-yellowbook.htmlです（そこにはたくさんのzipファイルがあります）。特定のWebサイトからファイルを自動的にダウンロード

私の質問は

です

私は何のスクリプトを書く必要がありますか（私は何かスクリプトを書いている経験がないので、何を提案できますか？）ので、プログラムでZipファイルをダウンロードできますか？
1番目の質問が解決したら、毎週アップロードされた新しいzipファイルをダウンロードするにはどうすればよいですか？

DOM ... unixを使用する必要がありますか？はいの場合は、それを動作させるためにtatに関するいくつかの調査を行います。

出典

2011-02-08 DEN

Zipファイルの名前は毎週変わるのですか、それとも定数ですか？ –

DOMはUNIXとは関係ありません。 – DoctorLouie

返信用のdrlouieとMichael ... http://www.google.com/googlebooks/uspto-patents-applications-yellowbook.html、リンクとして、あなたはそこのzipファイルを見ることができます..名前はアップロードされた日付に基づいて変更することができます.. – DEN

なぜwgetですか？ HtmlAgilityPackを使用してウェブサイトを解析し、すべてのリンクを抽出することができます。次に、すべてのURLをループし、C＃を使用してファイルをダウンロードします。そうしたい場合は、C＃からwgetプロセスを開くこともできます。

一方、これはbashとsed/awkとgregetをwgetと組み合わせて使うと簡単に行うことができます。

いずれにしても、毎週ジョブをスケジュールするにはまだcronが必要です。

WebClient Client = new WebClient(); 
Client.DownloadFile("http://www.csharpfriends.com/Members/index.aspx", "index.aspx");

出典

2011-02-08 06:33:37

困ったことに、窓でcronを使うことはできますか？ – DEN

Windowsのポート（cronw.sourceforge.net）がありますが、Windowsを使用しているときにWindowsのスケジューラを使用しないのはなぜですか？ –

Linux/UNIXの場合は、スクリプトで 'wget'を使用してファイルをダウンロードし、 'cron'を使用してダウンロードスクリプトをスケジュールします。

出典

2011-02-08 06:12:58

名前は毎週変わります - スクリーンスクレイピングもリンクのリストを取得するのに関与しますか？ –

ya、right。 wgetはまだ動作しますか？ – DEN

最初に 'wget'したいURLのリストを作る必要があります。 –

私はまた、Webページからデータをこすりするには、Java/Scalaのアプリケーションに非常に効果的JSoup（http://jsoup.org/）を使用しました。

出典

2011-02-11 07:38:26

特定のWebサイトからファイルを自動的にダウンロード

答えて

関連する問題