slurmはジョブのメモリ使用量をどのように決定するのですか

Question

最近、ユーザーは私たちのクラスタで対話型ジョブを実行していました。我々は、ワークロードマネージャーとしてslurmを使用します。彼は割り当てを得ました：

salloc --cpus-per-task=48 --time=14-0 --partition=himem 

これは、私たちのクラスタ上のハイメモリ（1.5TB）マシン全体を要求します。彼は仕事をしました。

salloc: Error memory limit exceeded 

は、私は、彼の仕事が唯一のRESで310ギガバイトを取っていたtopを使用して、ノードにログインして：それは実行していたが、彼の画面上に、彼は（このようなか何か）エラーメッセージが表示されました。しかしslurmd.log内のエラーのスルーは（8時間にわたる！）があり、このように：

[2017-08-03T23:21:55.200] [398692.4294967295] Step 398692.4294967295 exceeded memory limit (1588997632 > 1587511296), being killed 

はQUESTION：なぜトップSLURMは、彼が1.58TBを使用していると考えている間、彼は310ギガバイトを使っていると思うのでしょうか？

Answer 1

質問に答えるために、Slurmは/proc/<pid>/statを使用してメモリ値を取得します。あなたのケースでは、@ドミトリ・チュバロフの提案したように、Slurmによって殺されたと思われるプロセスを、おそらく目撃することができませんでした。

もう一つの可能​​性は、あなたが最近バージョン17.2.7で修正されたSlurmバグに出会ったことです。

- SLURMが正しいRSS値を読み取って、要求されたよりも多くの のメモリを使用してジョブに行動を取ることができるように長いの/ proc // STAT出力を処理するためにバッファを増やし：変更ログから。

SLURMが繰り返しプロセスを殺そうとしたという事実は、（あなたは、ログ内のエントリのいくつかの出現を述べた）マシンはRAMが不足したことを示し、プロセスを強制終了しようとしているときにslurmdは問題に直面していました。タスク制御のためにcgroupsを有効にすることをお勧めします。それははるかに堅牢です。