複数のGPUノードでSLURMジョブに割り当てられたGPUのIDを取得する方法は？

Question

2つのGPUを持つノードに--gres = gpu：1オプションを指定してSLURMジョブを送信すると、そのジョブに割り当てられているGPUのIDはどのように取得できますか？この目的のための環境変数はありますか？私が使用しているGPUはすべてnvidia GPUです。おかげさまで

Answer 1

環境変数CUDA_VISIBLE_DEVICESでGPU IDを取得できます。この変数は、ジョブに割り当てられたGPU IDのコンマ区切りリストです。