1. ホーム
  2. 質問と答え
  3. スクリーンスクレイピング時にキープアライブを使用する必要がありますか？

スクリーンスクレイピング時にキープアライブを使用する必要がありますか？

2011-07-14 9 views

答えて

2

それほど大きな違いはありません。あなたが必要とする実際のパフォーマンスの決定は、並行スクレイピングです。永続的であるかどうかにかかわらず、1つの接続は1度に1つの要求/応答しか処理できません。私はこすりするPHP /カールを使用してい

：私の次のポイントに私をもたらし

。

PHPはおそらくこの仕事には間違ったツールです。並行性はあまり良くありません。少なくとも、デフォルトビルドはそうではありません。

出典

2011-07-14 02:23:36 Matt

+1

'PHPはおそらくこの仕事には間違ったツールです。 ' - >なぜですか？いくつかのことについては、それは完全にうまくいくでしょう。どのようなケースが悪いと思われるのか、その理由を知ることは有益です。 – Nicole

+0

@Renesis私が見たスクリーンスクレイピングのほとんどのケースは、実行時に行う必要はありません。 Webアプリケーション層からのカールアウトによって応答をブロックする必要があるユースケースはごくわずかです。 – Matt

+0

このケースは、ライブデータであるため実行時に実行する必要があります。また、可能であれば、multi_curlを使用して並行スクレイピングを実行しています。その場合は – babonk

関連する問題

 関連する問題