SLURM/Sbatchは多くの小さな出力ファイルを作成します

Question

SLURMクラスタ上でパイプラインを実行していて、なんらかの理由で、slurm-XXXXXX.outという名前の小さなファイル（500〜2000バイトのサイズ）がたくさんあります（XXXXXX数）。これらのファイルがSLURMのWebサイトにあるかどうかを調べようとしましたが、そのファイルについては何も言及していません。私は彼らがパイプラインの解析中にシステムが使用するいくつかの種類の進行中のファイルであると仮定します。

私が実行しているパイプラインはsnakemakeです。私はsnakemakeなしで、これらの種類のファイルを見たことがあることを知っていますが、私はそれほど大きな問題ではありませんでした。ワークフローの各ステップの後にこれらのファイルの作業ディレクトリをクリアすると、進行中のステップが中断されるため、現時点では何もしていません。

これらのファイルは何ですか？また、対応するジョブが完了した後で出力を抑制するか、削除するにはどうすればよいですか？何とか私のワークフローを台無しにしてしまったので、それが作成されたのですか？

Answer 1

sbatchのドキュメントをご覧ください。あなたが参照しているファイルがあるが、説明したように、本質的にSLURMログです：「標準出力と標準エラー出力の両方が名前の ファイルに向けられているデフォルトでは

「slurm-％のj.out」、 ％j "は ジョブ割り当て番号に置き換えられました。

ファイル名は、--error=<filename pattern>と--output=<filename pattern>コマンドラインオプションを使用して変更できます。 filename_patternには、documentationで説明されているように置き換えられる1つ以上のシンボルを含めることができます。 FAQsによると、次のコマンドラインオプションを使用して、標準出力と標準エラー出力を抑制することができるべきである：

sbatch --output=/dev/null --error=/dev/null [...]