foreachワーカーがサブタスクを他のワーカーに登録して配布することを許可する

Question

いくつかのタスクを並行して実行するために複数のforeachワーカーが関わるRコードがあります。私はこの目的のためにforeachとdoMCを使用しています。私は各foreachワーカーに新しいワーカーを募集し、コードの一部を並列化可能なものに配布するようにしたい。私はdoSNOWとdoMC here (https://www.rmetrics.org/files/Meielisalp2009/Presentations/Lewis.pdf#page=17)を用いたマルチパラダイム並列処理の例を見て

require(doMC) 
require(foreach) 
registerDoMC(cores = 8) 

foreach (i = (1:8)) %dopar% { 
<<some code here>> 
    foreach (j = (1:4)) %dopar% { 
    <<some other code here>> 
    } 
} 

：私は次のようになり、理想的なコードを探しています

require(doMC) 
require(foreach) 
registerDoMC(cores = 8) 

foreach (i = (1:8)) %dopar% { 
<<some code here>> 
    for (j in c(1:4)) { 
    <<some other code here>> 
    } 
} 

：よう

現在のコードが見えます。しかし、私はそれが私が望むかどうかは分かりません。

また、Nested foreachは2つのループ(see here)をマージする必要があるため適用されませんが、私の場合はこれは好ましくありません。 2番目のループは、コードの一部について最初のループのみを助けます。私が間違っていれば私を修正してください。

ありがとうございました。

Answer 1

foreachループの内部にforeachループを持つことには特に問題はありません。ここでdoSNOWループ内doMCループの例です：

library(doSNOW) 
hosts <- c('host-1', 'host-2') 
cl <- makeSOCKcluster(hosts) 
registerDoSNOW(cl) 
r <- foreach(i=1:4, .packages='doMC') %dopar% { 
    registerDoMC(2) 
    foreach(j=1:8, .combine='c') %dopar% { 
    i * j 
    } 
} 
stopCluster(cl) 

内側のループのためdoMCを使用するように私には自然なようだが、とにかくあなたが望むそれを行うことができます。また、両方のループでdoSNOWを使用することもできますが、外側のforeachループ内でスノークラスターを作成して停止する必要があります。 4つだけ内側のループの本体を実行するが、

library(doMC) 
registerDoMC(2) 
r <- foreach(i=1:2, .packages='doMC') %dopar% { 
    ppid <- Sys.getpid() 
    registerDoMC(2) 
    foreach(j=1:2) %dopar% { 
    c(ppid, Sys.getpid()) 
    } 
} 

結果は、6つのプロセスの合計doMCパッケージで二股されていることを実証する：ここ

はdoMCループ内doMCの使用例です

> r 
[[1]] 
[[1]][[1]] 
[1] 14946 14949 

[[1]][[2]] 
[1] 14946 14951 


[[2]] 
[[2]][[1]] 
[1] 14947 14948 

[[2]][[2]] 
[1] 14947 14950 

もちろん、1つのノードであまりに多くのプロセスを開始しないように注意する必要があります。私はこの種のネスティングを少し厄介なものにしました。これは入れ子のオペレータの開発につながりました。