シェルコマンドのRでの並列計算

Question

私はRscriptを複数のファイルに対して実行しようとしているユースケースがあります。

for(i in 1:length(fileNames)){ 

    generateTolerancesCommand = paste(c("Rscript ",modelScriptName, 
             " --inp=",paste(c("'",dimensionsFolder, "/", fileNames[i],"'"), collapse = ""), 
             " --sea=",seasonal, 
             " --freq=",freq, 
             " --outp=",paste(c("'",outputFolder,"/","'"), collapse=""), 
             " --tp=",tp, 
             " --sd=",sd, 
             " --end=",end, 
             " --op=",op, 
             " --tls=",tls, 
             " --pts=",pts, 
             " --userf=",paste(c("'",dimensionsFeedbackFolder, "/", fileNames[i],"'"), collapse = "") 
            ),collapse="") 
    system(generateTolerancesCommand) 
} 

これは正常に動作しますが、それは通常、最終的には、現在のスクリプトを終了する約2時間かけて完了するために1つのループの周り3-4分かかる - 私は以下のスニペットを下に書かれています。私はそれを平行にすることでより良くできると思う。各反復では、独立したデータセットで作業できるR実行実行の独立したスニペットを作成しています。 並列のような並列ライブラリであるdoParallelをRで読み込もうとしましたが、usecaseに適用できる最適な方法を見つけることができません。これを経験した人は私に道を示唆することができますか？

Answer 1

環境内で変数を作成するのではなく、出力ファイルを書きたい場合は、ループをforeachに置き換えることができます。

library(foreach) 
cl <- parallel::makeCluster(parallel::detectCores() - 1) 
doParallel::registerDoParallel(cl) 
foreach(i = seq_along(fileNames), .combine = 'c') %dopar% { 

    ## PUT YOUR CODE HERE 

    NULL 
} 
parallel::stopCluster(cl) 

foreach以上lapply forループよりも動作しますので、.combine = 'c'とここNULLは、ちょうどforeachリターンが何も（ちょうどNULL）となるようです。 this tutorialで詳細を知ることができます。