text2vecの単語を効率的に置き換えます

Question

私は、単語をそれぞれの同義語で効率的に置き換える（例えば、 "automobile"のすべての出現を同義語 "car"と置き換える）大きなテキスト本文を持っています。しかし、私はこれを行うための適切な（効率的な方法）を見つけるのに苦労しています。

私はtext2vecライブラリを使用しています。このタスクにもこのライブラリを使用したいと考えています（依存性を減らすためにtmを避ける）。

アン（非効率的な）方法は、次のようになります。

# setup data 
text <- c("my automobile is quite nice", "I like my car") 

syns <- list(
    list(term = "happy_emotion", syns = c("nice", "like")), 
    list(term = "car", syns = c("automobile")) 
) 

マイブルートフォースソリューションこのような何かを持っていると言葉を探し、それらを

library(stringr) 
# works but is probably not the best... 
text_res <- text 
for (syn in syns) { 
    regex <- paste(syn$syns, collapse = "|") 
    text_res <- str_replace_all(text_res, pattern = regex, replacement = syn$term) 
} 
# which gives me what I want 
text_res 
# [1] "my car is quite happy_emotion" "I happy_emotion my car" 

を置き換えるためにループを使用することです

tmでこの方法を使用していましたが、by MrFlick（tm::content_transformerとtm::tm_mapを使用していました）ですが、tmをより高速に置き換えてプロジェクトの依存関係を減らしたいと思いますtext2vec。

私は最適な解決方法は何とかtext2vec s itokenを使用すると思いますが、わかりません。何か案は？ベースRで

Answer 1

、それでも私は私の2セントを追加したいです。 私はあなたのstr_replace_allオーバー2つのソリューション

1. 小さな改善を参照してください。内部的にベクトル化されているので、ループなしですべての置換を行うことができます。私はそれが速くなると思うが、私はベンチマークをしなかった。

   regex_batch = sapply(syns, function(syn) paste(syn$syns, collapse = "|")) 
   names(regex_batch) = sapply(syns, function(x) x$term) 
   str_replace_all(text, regex_batch) 
   

2. もちろん、このタスクはハッシュテーブルルックアップです。私が知る限り最も速い実装はfastmatchパッケージにあります。私は第二の溶液はより速く動作しますが、いくつかのベンチマークを行う必要がありますことを賭けるだろう

   library(fastmatch) 
   
   syn_1 = c("nice", "like") 
   names(syn_1) = rep('happy_emotion', length(syn_1)) 
   syn_2 = c("automobile") 
   names(syn_2) = rep('car', length(syn_2)) 
   
   syn_replace_table = c(syn_1, syn_2) 
   
   custom_tokenizer = function(text) { 
       word_tokenizer(text) %>% lapply(function(x) { 
       i = fmatch(x, syn_replace_table) 
       ind = !is.na(i) 
       i = na.omit(i) 
       x[ind] = names(syn_replace_table)[i] 
       x 
       }) 
   } 
   

：だから、カスタムトークナイザのようなものを書くことができます。

Answer 2

これは動作するはずです：かなり遅く

mgsub <- function(pattern,replacement,x) { 
if (length(pattern) != length(replacement)){ 
    stop("Pattern not equal to Replacment") 
} 
    for (v in 1:length(pattern)) { 
     x <- gsub(pattern[v],replacement[v],x) 
    } 
return(x) 
} 

mgsub(c("nice","like","automobile"),c(rep("happy_emotion",2),"car"),text) 

Answer 3

Dmitriy Selivanovによるソリューションの最初の部分は、わずかな変更が必要です。

library(stringr)  

text <- c("my automobile is quite nice", "I like my car") 

syns <- list(
      list(term = "happy_emotion", syns = c("nice", "like")), 
      list(term = "car", syns = c("automobile")) 
      ) 

regex_batch <- sapply(syns, function(syn) syn$term) 
names(regex_batch) <- sapply(syns, function(x) paste(x$syns, collapse = "|")) 
text_res <- str_replace_all(text, regex_batch) 

text_res 
[1] "my car is quite happy_emotion" "I happy_emotion my car"