2011-07-22 11 views
2

私はcronジョブとして動作するクローラを作成しました。クローラの目的は、自分のサイトの投稿を調べてキーワードを引き出すことです。cronジョブの許容メモリ使用量はどのくらいですか?

現在のところ、スピードとサーバーの両方の負荷のためにスクリプトを最適化していますが、それぞれのベンチマークのタイプが「良い」と考えられるのは好奇心です。ここで例えば

は、5000枚のポストを介して、時間を実行している私がテストしているいくつかの構成は、(あなたは、速度とメモリの間のトレードオフをわかります)、次のとおりです。

テスト1 - メモリの節約のために最適化されたスクリプト:

Run time: 52 seconds 
Avg. memory load: ~6mb 
Peak memory load: ~7mb 

テスト2 - スクリプト速度

Run time: 30 seconds 
Avg. memory load: ~40mb 
Peak memory load: ~48mb 
のために最適化さ

ここでの決定は、速度とサーバーの負荷の関係です。私はあなたの反応がこれらの数字にどのようなものであるか興味があります。

また、より多くのMySQL接続でスクリプトをより遅く実行し、オーバーヘッドメモリを低く抑えた方がよいでしょうか?

+1

タグの書き込みをやめてください。ありがとうございます。 –

+1

私はすべてのタグを作成していませんでした... – johnnietheblack

+1

あなたの両親の地下室で古いAtariを使用している場合、40MBは非常に高価です。あなたがエンタープライズサーバ上で動作しているなら、それほど多すぎるかもしれません。あなたは、使用しているハードウェアの種類についてより多くの情報を提供できますか? – Problematic

答えて

3

「許容できる」とは、実行される並行プロセスの数、実行されるハードウェアの仕様、予想される時間など、多くの要素によって異なります。取る。

関連する問題