2
私はcronジョブとして動作するクローラを作成しました。クローラの目的は、自分のサイトの投稿を調べてキーワードを引き出すことです。cronジョブの許容メモリ使用量はどのくらいですか?
現在のところ、スピードとサーバーの両方の負荷のためにスクリプトを最適化していますが、それぞれのベンチマークのタイプが「良い」と考えられるのは好奇心です。ここで例えば
は、5000枚のポストを介して、時間を実行している私がテストしているいくつかの構成は、(あなたは、速度とメモリの間のトレードオフをわかります)、次のとおりです。
テスト1 - メモリの節約のために最適化されたスクリプト:
Run time: 52 seconds
Avg. memory load: ~6mb
Peak memory load: ~7mb
テスト2 - スクリプト速度
Run time: 30 seconds
Avg. memory load: ~40mb
Peak memory load: ~48mb
のために最適化さ
ここでの決定は、速度とサーバーの負荷の関係です。私はあなたの反応がこれらの数字にどのようなものであるか興味があります。
また、より多くのMySQL接続でスクリプトをより遅く実行し、オーバーヘッドメモリを低く抑えた方がよいでしょうか?
タグの書き込みをやめてください。ありがとうございます。 –
私はすべてのタグを作成していませんでした... – johnnietheblack
あなたの両親の地下室で古いAtariを使用している場合、40MBは非常に高価です。あなたがエンタープライズサーバ上で動作しているなら、それほど多すぎるかもしれません。あなたは、使用しているハードウェアの種類についてより多くの情報を提供できますか? – Problematic