ASP.NET Webスクレイピングのタイムアウト問題

Question

ASP.NET MVCプロジェクトの一部としてWebスクレイピングクローラを実装しようとしています。これは、Html Agility Packを使用して異なるURLから集められた大きなデータで動作します。問題は、私が1分後にリモートサーバーから「接続がリセットされました」という機能を実際に実行したいときです。私はそれをローカルで実行するとより良い結果が得られます。リモートIISにアクセスできます。この問題やその他の選択肢を解決するための提案はありますか？

Answer 1

ASP.NETで長時間実行されているプロセスを使用している場合は、別のスレッドで実行するのが最善です。

thisおよびthis関連の質問とthis MSDNの記事を参照してください。

Answer 2

接続やネットワークの問題によってこのような問題が発生する可能性があります。他のURLのスクレイピングを防ぐために、作業を別のスレッドに並列化することができます。