ステータスコード408を返すプロキシメッシュプロキシ

Question

私はプロキシメッシュプロキシを使用して別のウェブサイトをクロールしています。突然、それはここでは、ステータス408

の送信を開始し、ログ、

Retrying <GET http://www.toysrus.com/product/index.jsp?productId=23046326&cp=&parentPage=search> (failed 1 times): 408 Request Time-out 

である任意のソリューションは非常に理解されるであろう。私は実際に使用していない

Answer 1

は自分自身をproxymeshが、あなたがすべきいくつかのものがあります。

1. あなたがそうかどうかを確認するために、サイトに行く、それはサイトの問題ではないことを確認する必要がありますそれはまた、408のステータスを戻している（または単に停止しているかもしれない）。

2. proxymesh documentationに従って、X-ProxyMesh-Timeoutヘッダーを送信することで、サイト（およびproxymesh）が実際にリクエストを完了するまでに時間がかかることがありました。

3. 応答またはヘッダーにproxymeshが（408のステータスだけでなく）詳細情報を返すかどうかを確認してください。治療を使用している場合は、Retrying settingsを確認して、errbackメソッドを使用して不良ステータスを処理できます。