0
フロントエンドでは、ユーザーが自分のウェブサイトのリストを作成できるようにするPHPウェブアプリケーションがあります（最大5件）。1日あたりのPythonスクリーンスクレイピングスクリプトを50回（合計8.3分）実行するベストプラクティス？
バックエンドでは、ユーザが登録する各Webサイトのに対して、Pythonスクリプトが毎日実行され（〜10回の反復を実行します）。ウェブサイトごとの各スクリプトは、すべての反復を実行して終了するまでに約10秒かかります。その後、その結果を含むCSVファイルを作成します。
合計で、最大5人のWebサイト* 10回の反復= 50回の反復で、ユーザーあたり8.3分です。
現在、スクリプトは手動でURLをフィードするときに機能するので、動的にウェブアプリケーションの一部にする方法は不思議です。
- ユーザー数と各ユーザーが毎日持っているウェブサイトに応じて、毎日実行するスクリプトをプログラムで追加して削除するにはどうすればよいですか。
- 適切なパラメータを渡して、各ユーザーの各Webサイトに対してこのスクリプトを実行するようにスケジュールするにはどうすればよいですか。
私はそれが慣習的なプロセスのために作られていることを私が知っている唯一のものだから、多分cronjobsに精通しています。