C＃適切に表示するために必要なコンテンツを含むWebサイトをダウンロード

Question

次のシナリオを考えてみましょう：約400の個人用サイトを開発しました。現在、私たちはポートフォリオを構築しようとしています。複数の理由から私たちは私たちのポートフォリオに置くことができるようにインデックスを表示したいと思います。まず最初に、すべてのサイトのスクリーンショットをプログラムで作成することでした。私たちの会社のヘッドは即座にそれを暴露した。 iframeは明らかに代替手段ではありません。だから我々はインデックスをダウンロードしなければならない。おそらく、それを適切に表示するために必要なスタイルと画像だけが必要です。

これをやり始める方法がわかりません。

あなたにはアイデアはありますか？

Answer 1

CodedUI（およびSelenium）の基盤技術は、Webクローラーを使用してWebページの特定の有用部分を分離します。その基礎となるライブラリを使用してライブのウェブページをクロールし、ページ構造を構成する画像やdivを抽出することをおすすめします。

これを静的HTMLとして出力すると、サイトインデックスに適したページスナップショットを作成できます。

このようにすると、テスト自動化に使用するのと同じテクノロジが使用されますが、テストを実行する代わりに、HTMLから有用な構造を抽出してページスナップショットとして出力できます。クローラが索引付けする必要があると思われるアイテム（つまりHTML5の場合はデータプロパティを含む）のみを抽出できるようにするには、HTMLの「有用な」部分をマークする必要があります。これは多くの作業になる可能性があります。そのため、各ページのスクリーンショットが必要な場合は、SeleniumまたはCodedUIを使用してサイトをクロールし、画面イメージをキャプチャしてください。