slurmジョブ（srunで始まる）が完全に終了するまでスクリプトを保持する方法は？

Question

は私がsbatch job_array_script.sh [args]で実行すること（以下ジョブ配列のスクリプトで、SLURMでのジョブ配列を実行しています：

#!/bin/bash 

#SBATCH ... other options ... 

#SBATCH --array=0-1000%200 

srun ./job_slurm_script.py $1 $2 $3 $4 

echo 'open' > status_file.txt 

を説明するために、私はjob_slurm_script.pyは、配列ジョブとして実行する200のタスクの最大で1000倍にしたいですすべての場合は、status_file.txtに「open」と書いておきます。これは実際には10,000以上のジョブがあり、これがクラスタのMaxSubmissionLimitの上にあるため、分割する必要があります。 （1000要素のジョブ配列の）より小さな塊（前のものが終了したときのみ）を順番に実行します。

しかし、これを動作させるには、echo文はジョブ配列全体が終了した時点でのみ起動することができます（この外では、status_file.txtをチェックするループがありますので、開いた'）。

これまで、ジョブアレイ全体が終了するまでsrunがスクリプトを保持していると考えました。しかし、時にはsrunが "返され"、スクリプトはジョブが終了する前にecho文に行きます。したがって、後続のすべてのジョブは投入制限を超えているので、クラスタから跳ね返ります。

したがって、ジョブアレイ全体が終了するまでsrunを「ホールドアップ」するにはどうすればよいですか？

Answer 1

wait bashコマンドを使用できます。上のコード行が終了するまで待ちます。したがって、スクリプトは次のようになります。

#!/bin/bash 

#SBATCH ... other options ... 

#SBATCH --array=0-1000%200 

srun ./job_slurm_script.py $1 $2 $3 $4 

wait 

echo 'open' > status_file.txt