デジタルオーシャンサーバーを使用してDokkuで治療を実行する

これはどのように説明するのかわかりませんが、Digital Oceanサーバー（$ 5サーバー）でScrapyスパイダーを実行しています.ScrapyプロジェクトはDokkuアプリケーションとして展開されています。デジタルオーシャンサーバーを使用してDokkuで治療を実行する

ただし、ローカルコンピュータの速度とHerokuのフリー層のdynoと比べて非常に遅く実行されます。 Dokkuでは、毎分30ページの速度でクロールし、Herokuでは速度が200 +ページ/分になります。

問題を解決するためにデバッグ、分析、または開始する方法がわかりません。どのようにこれを解決するための助け、手がかりまたはヒント？

出典

2016-06-20 Quang Nguyen

['AutoThrottle']（http://doc.scrapy.org/en/1.1/topics/autothrottle.html）を有効にすることができます。あなたのクモは、メモリ不足のために殺されましたか？ – Harrison

私はすでにAutoThrottleを有効にしています。メモリ不足のために死ぬことはありません（私は1GBのスワップメモリを使用しています）。メモリ上の問題である可能性がありますが、DOサーバーはpostgresqlとelasticsearchも実行し、それらのサービスはHeroku上で個別に実行されます。私はそれを試してみる:)提案をありがとう。 –

私は10ドルと20ドルのDOサーバーを試しましたが、同じ結果でした。結果は同じでした。 AWSまたはLinodeで実行したときに最終的に機能しました。なぜか分からないけど、私は切り替える必要があると思う。 –

デジタルオーシャンサーバーを使用しないことでこの問題を「修正」しました。私がクロールしようとしているウェブサイト（craigslist.org）は、DOサーバーにうまく反応しませんでした。リクエストに応答するまでには時間がかかります。 GoogleやAmazonなどの他のウェブサイトは、DOでうまく動作します。

他のプロバイダのVPSを使用している場合、私のスクレーパーはcraigslistでうまく動作します。

出典

2016-06-22 13:17:40

デジタルオーシャンサーバーを使用してDokkuで治療を実行する

答えて

関連する問題