R - grepは700万回以上の観測 - どのように効率を上げるか？

私は書いたRコードで行き詰まってしまったので、この全体を実現可能にする方法を知っていると思っていました。R - grepは700万回以上の観測 - どのように効率を上げるか？

だから、私は何をやろうとしていることは、次のとおりです。

私は〜700万観察とつぶやきデータセットを持っています。現在のところ、私はつぶやきやその他のメタデータのテキストには興味がありませんが、「場所」フィールドにしかないので、そのデータを場所変数を含む新しいdata.frameに抽出しました（文字列）と現在の空の新しい "isRelevant"変数（論理的）を返します。さらに、「Placename（1）| Placename（2）[...] | Placename（i）」という形式のテキスト情報を含むベクトルを取得しました。私がしようとしているのは、Placenamesベクトルと一致するかどうかを調べるためにlocations変数のすべての行をgreplにすることです。そうであれば、isRelevant変数に "TRUE"を返し、そうでなければ "FALSE"を返します。「|」

locations.df$isRelevant <- sapply(locations.df$locations, function(s) grepl(grep_places, s, ignore.case = TRUE))

せるgrep_placesで区切っ可能一致する用語のリストです：

はこれを行うには、私は基本的にこのラインに帰着するいくつかのRコードを書きましたRにベクトルのどの要素にもマッチすることがわかるようにする。私はこれをRStudio（R 3.2.0）を使用して2 TB以上のRAMを提供する大容量の大容量コンピュータで実行しています。私はプログレスバーを提供する 'pbsapply'で実行しています。それは明らかに、をととらえています。これまでに約45％（私はそれを1週間以上前に開始しました）に完了し、それを完了するのにまだ270時間以上かかることがあると言います。これは明らかに実際には実行可能な状況ではありません。将来的に同様のコードを実行し、大きなデータセットを使用する必要があります。おそらく、私はこの仕事を、より受け入れやすい時間枠で、おそらく一日かそのようなもの（超強力なコンピュータを念頭に置いて）のようにして、どのようにしてやるか考えていますか？ここで

出典

2016-05-17 nikUoM

これは、そのままで、合理的な質問ですが、あなたは（シミュレートされたのビットを提供する場合は良いだろう）データを提供する[再現可能な例]（http://stackoverflow.com/questions/5963269/how-to-make-a-great-r-reproducible-example）... –

こんにちはベン。省略して申し訳ありません。私は今いくつかのデータを追加しました。乾杯！ – nikUoM

他のregex関数よりも優れている 'stringi'パッケージの関数の中には、より良い運があるかもしれません。 – nrussell

greplはベクトル化された関数なので、ループを適用する必要はありません。あなたは試してみました：

#dput(location.df)  
location.df<-structure(list(location = structure(c(12L, 14L, 17L, 5L, 16L, 
      2L, 1L, 19L, 8L, 1L, 3L, 11L, 7L, 6L, 10L, 18L, 15L, 13L, 9L, 
     4L), .Label = c("<NA>", "Beautiful Downtown Burbank", "California", 
      "California USA", "D M V Towson", "exsnaveen com", "Florida", 
      "Gaithersburg Md", "Hermosa Beach CA", "Houston TX", "Indy", 
      "London", "Malibu Ca USA", "Orleans village VT USA", "Phoenix AZ", 
      "Playa del Sol Solidaridad", "The World", "Tweaking", "US"), class = "factor"), 
      isRelevant = c(NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, 
      NA, NA, NA, NA, NA, NA, NA, NA, NA, NA)), .Names = c("location", 
      "isRelevant"), row.names = c(NA, -20L), class = "data.frame") 

#grep_places with places in the test data 
grep_places<-"Gaithersburg Md|Phoenix AZ" 

location.df$isRelevant[grepl(grep_places, location.df$location, ignore.case = TRUE)]<-TRUE

またはわずかに速い実装のために、デビッドArenburgさんのコメントのとおり：

location.df$isRelevant <- grepl(grep_places, location.df$location, ignore.case = TRUE)

出典

2016-05-17 14:28:28 Dave2e

R - grepは700万回以上の観測 - どのように効率を上げるか？

答えて

関連する問題