.netデスクトップアプリケーションを使用してウェブサイトのコンテンツをコピーする方法

Question

ネット上にこのウェブサイトがあります（このウェブサイトは私によって作られていません）、グリッドを含んでおりページングされるので、グリッドの各ページの内容をExcelシートに入れたい。私が手動でやろうとすると、非常に面倒で、それほどスマートではありません。

これはc＃.net Windowsアプリケーションを使用して行うことができますか？

これを達成するのに役立つフリーウェアはありますか？ウェブクローラーやウェブスパイダーなどのようなものですか？

Answer 1

用語はWeb Scrapingと呼ばれます。コードを使用して達成するのは簡単な作業ではありません。

クラス/HttpWebResponseクラスまたはWebClientクラスを使用して、ページ自体にアクセスして取得することができます。その後、正規表現やHTML Agility Packのようなものを使用して、必要なデータを解析することができます。サードパーティのツールについては

が質問の多くは、すでにSOに答えているが、しかし、ここであなたが見て取ることができる一つです：あなたはC＃を使用してWebページを取得するために HTMLAgilityPackのようなものを使用することができます What's a good Web Crawler tool

Answer 2

は、とXPathクエリを使用して必要なデータを抽出します。ページングをエミュレートするには、クエリ文字列をフォーマットする正しい方法を知る必要があります。テーブルがページングにAJAXを使用している場合は、正しいURL /クエリ文字列を見つけるために外部ツール/スニファを使用する必要があります。これを行うには、Firefox用のFirebugプラグインをお勧めします。

XPathでHTML表を抽出したら、XSLTを使用してCSV形式に変換できます。 CSVからは、Office Interopを使用してExcelにインポートするのは非常に簡単です。