R内で並列にreadLinesを実行することができます。

Question

単一のマルチコアマシン上の1つのテキストファイルに対して、Rと並行して反復することは可能ですか？コンテキストの場合、テキストファイルは250〜400MBのJSON出力の間にあります。

EDIT：

は、ここで私はで遊んでてきたいくつかのコードサンプルです。私の驚いたことに、並列処理は勝利しませんでした - ただ基本的なlapply - しかし、これは私の部分でユーザーのエラーが原因である可能性があります。さらに、多数の大きなファイルを読み込もうとすると、私のマシンが息を吹きました。ここ

## test on first 100 rows of 1 twitter file 
library(rjson) 
library(parallel) 
library(foreach) 
library(plyr) 
N = 100 
library(rbenchmark) 
mc.cores <- detectCores() 
benchmark(lapply(readLines(FILE, n=N, warn=FALSE), fromJSON), 
      llply(readLines(FILE, n=N, warn=FALSE), fromJSON), 
      mclapply(readLines(FILE, n=N, warn=FALSE), fromJSON), 
      mclapply(readLines(FILE, n=N, warn=FALSE), fromJSON, 
        mc.cores=mc.cores), 
      foreach(x=readLines(FILE, n=N, warn=FALSE)) %do% fromJSON(x), 
      replications=100) 

は、2番目のコードサンプルによる非平行ファイル・システムIOの性質readLines()とおそらく

parseData <- function(x) { 
    x <- tryCatch(fromJSON(x), 
       error=function(e) return(list()) 
       ) 
    ## need to do a test to see if valid data, if so ,save out the files 
    if (!is.null(x$id_str)) { 
    x$created_at <- strptime(x$created_at,"%a %b %e %H:%M:%S %z %Y") 
    fname <- paste("rdata/", 
        format(x$created_at, "%m"), 
        format(x$created_at, "%d"), 
        format(x$created_at, "%Y"), 
        "_", 
        x$id_str, 
        sep="") 
    saveRDS(x, fname) 
    rm(x, fname) 
    gc(verbose=FALSE) 
    } 
} 

t3 <- system.time(lapply(readLines(FILES[1], n=-1, warn=FALSE), parseData)) 

Answer 1

答えは何に依存します問題は実際にはファイルを並行して読むこと、またはファイルを並行して処理することです。

並列

で読書あなたは、例えば、複数の入力ファイルにJSONファイルを分割し、それらを並行して読むことができますパラレルバックエンドと組み合わせplyrの機能を使用して：

result = ldply(list.files(pattern = ".json"), readJSON, .parallel = TRUE) 

バックエンドを登録すると、おそらく今ベースR.に統合されてparallelパッケージを使用して行うことができますまたはあなたは、doSNOWパッケージを使用する詳細については、this post on my blog見ることができます。パラレル

で

処理このシナリオでは、あなたの最善の策は、文字のベクターにデータセット全体を読み取られたデータを分割して、例えばと組み合わせたパラレルバックエンドを使用することですplyrの機能です。

Answer 2

ありません。もちろん、パラレルNFSなどを使用している場合は、この制限は適用されません。しかし、あなたが「標準」アーキテクチャを採用していると仮定すると、readLine()呼び出しを並列化することは実現できません。

あなたの最善の策は、おそらく500メガバイトは、おそらくあなたがオブジェクトがすでに読み込まれている後に、処理を並列化、その後、メモリに収まる<として見てファイル全体を読み込むことであろう。