クラスタ内の異なるノードでRandomForestを並列に実行する

Question

クラスタを4つ同時に予約できるクラスタ（大学のサーバ）でrandomForestをParallelで実行したいとします。 foreachパッケージの説明で述べたようにforeachとdoSNOWパッケージを使用しましたが、次のコードを使用すると、すべての負荷が最初のノードにあり、他の3つのノードではメモリ消費がないことがわかります。誰かがどのようにこのコードを編集して各ノードのすべてのコアが同等の作業を行い、それを1つのフォレストにまとめることができるか教えてください。

> library("foreach") 
> library("doSNOW") 
> registerDoSNOW(makeCluster(48, type="SOCK")) 

> x <- matrix(runif(500), 100) 
> y <- gl(2, 50) 

> rf <- foreach(ntree = rep(22, 48), .combine = combine, .packages = "randomForest") %dopar% 
+ randomForest(x, y, ntree = ntree) 
> rf 
Call: 
randomForest(x = x, y = y, ntree = ntree) 
Type of random forest: classification 
Number of trees: 1056 

Answer 1

靴下クラスタ内の複数のノード上での労働者を起動するには、makeClusterの最初の引数は、ノード名のベクトルではなく、数値でなければなりません。その場合、makeClusterは、sshコマンドを使用して、指定された各ノードでワーカを起動します。例えば

、各ノード上の12人の労働者を開始するための「N1」、「N2」、「N3」、および「N4」、あなたが使用できます。

> nodelist <- rep(c("n1", "n2", "n3", "n4"), each=12) 
> cl <- makeCluster(nodelist, type="SOCK") 
> registerDoSNOW(cl) 

注意を各ノード名が表示されていることnodelistでは12回なので、nodelistの長さは48です。

ジョブを実行するためにバッチ・キューイング・システムを使用している場合は、ハード・コードではなくジョブに割り当てられたノード名のリストを取得する必要がありますあなたのスクリプト。通常、その情報は環境変数から取得できますが、バッチ・キューイング・システムによって異なります。例えば、トルクで、あなたは使用してノードのリストを取得することができます。

> nodelist <- readLines(Sys.getenv("PBS_NODEFILE")) 

---

私はHPCクラスタ上の並列ジョブを実行するときにmakeMPIclusterを使用してMPIクラスタを作成し、doSNOWに登録することを好むが、このアプローチが可能初心者にとってはより困難です。たとえば、Rmpiパッケージをインストールしておかなければならず、 "mpirun"コマンドでRスクリプトを実行する必要があります。 knowledgableなシステム管理者から助けを得ることができれば、おそらく長期的にはよりうまくいくでしょう。

doMPIはHPCクラスターでの使用のために特別に設計されているため、doSNOWの代わりにdoMPI並列バックエンドを使用する方法もあります。詳細については、doMPI vignetteを参照してください。

---

はまた、あなたは、この例では、foreachの.multicombine=TRUE引数を使用する場合は、より良いパフォーマンスを得るだろうことに注意してください。これにより、combine関数は47回ではなく1回呼び出されます。