複数のノードで1つのRスクリプト

Question

複数のノードからCPUコアを利用して1つのRスクリプトを実行したいと考えています。各ノードは16のコアを含み、Slurmツールを介して私に割り当てられます。単一ノード上で正常に動作します

mpirun -np 1 R --no-save <file_path_R_script.R> another_file_path.Rout 

：

これまでのところ、私のコードは次のようになります。

ncores <- 16 

List_1 <- list(...) 
List_2 <- list(...) 

cl <- makeCluster(ncores) 
registerDoParallel(cl) 
getDoParWorkers() 

foreach(L_1=List_1) %:% 
foreach(L_2=List_2) %dopar% { 
... 
} 

stopCluster(cl) 

私はUNIXのシェルで次のコマンドを経由して、それを実行します。しかし、2番目のノードにアクセスすると、32までのncoresを増やすだけで十分かどうかはわかりません。 Rは他のノードに追加の16コアを自動的に追加しますか？または、別のRパッケージを使用する必要がありますか？

Answer 1

mpirunを使用してRスクリプトを起動すると、Rmpiを使用しないと意味がありません。

コードを見ると、MPIなしでやりたいことがあります。レシピは、2x16コアを使用するために次のようになります。

2つのタスクを尋ね、タスク

#SBATCH --nodes 2 
#SBATCH --ntasks 2 
#SBATCH --cpus-per-task 16 

あたり16個のCPUが

srun R --no-save <file_path_R_script.R> another_file_path.Rout 

SLURMのsrunコマンドを使用してプログラムを起動し

srunコマンドは、2つの異なるノード上のRスクリプトの2つのインスタンスを開始し、 1つのノードで環境変数SLURM_PROCIDを0に設定します。

あなたは、ディスク上の結果を保存して、単一の完全な結果に部分的な結果をマージする必要がありますsrun

ncores <- 16 

taskID <- as.numeric(Sys.getenv('SLURM_PROCID')) 

List_1 <- list(...) 
List_2 <- list(...) 

cl <- makeCluster(ncores) 
registerDoParallel(cl) 
getDoParWorkers() 

Lits_1 <- split(List_1, 1:2)[[taskID+1]] # Split work based on value of SLURM_PROCID 

foreach(L_1=List_1) %:% 
foreach(L_2=List_2) %dopar% { 
... 
} 

stopCluster(cl) 

によって開始された二つのプロセス間で作業を分割するためにあなたのRscriptでSLURM_PROCIDの電子。