大きいファイルからの検索と置換

Question

マスキングの問題：大きなテキストファイル（input.txt、100+）から特定の用語（単語/表現）を見つけてマスクするMB）。見つけ出す必要のある用語（10K +）は、単一のファイル（to_mask.txt）に保存されます。効率的にこれを実行するにはどうすればよいですか？

私は2つの段階でこれをやって考えていた：最初の実際

grep -Ff to_mask.txt -o -n input.txt 

次の出力を通過し、実際の交換（用語 - >「XXX」）を行う条件を含む行を検索します。

これはちょっと面倒なようですが、スマートなやり方でできますか？

基本コマンド（grep、sed、awk、one-line-perl）の任意の組み合わせが歓迎です！

UPDATE：

マルコス、Kenavoz、エド・モートンとSobriqueすべてが、おかげで作業溶液を与えました！ Sobriqueのソリューションは、私の受け入れられたソリューションとして選択しました。これは、私のデータが与えられた残りの部分よりもはるかに高速だったからです。いくつかの特別なケースは扱えないかもしれませんが、私はそれを可能にすることができると確信していますし、現在の状況で仕事をしています。

アップデート2：参考

、ここKenavozが提供するソリューションです：

sed -f <(sed 's~^~s\~~;s~$~\~XXX\~~' to_mask.txt) input.txt 

Answer 1

私はこのようにそれに取り組むと思う：

#!/usr/bin/perl 
use strict; 
use warnings; 

#read the mask file into memory. 
open (my $mask, '<', "to_mask.txt") or die $!; 
chomp (my @terms = <$mask>); 
close ($mask); 
#build a really big regex 
#map quotemeta means handling metachars. 
#if you _know_ there are none, then you can omit this. 
#or if you actually want to be able to use regex in your terms file. 
my $mega_regex = join "|", map { quotemeta } @terms; 

    #compile it into a non-capturing regex, and use \b to anchor on word boundaries. 
    #You don't want to be filtering out Scunthorpe ... 
    $mega_regex = qr/\b(?:$mega_regex)\b/; 

#<> means iterate 'stdin' or 'files specified on command line'. 
#just like how grep/sed/awk does it 
while (<>) { 
    s/$mega_regex/XXX/g; 
    print; #to STDOUT 
} 

Answer 2

あなたが試みることができる：

while read mask; do sed -i "s/$mask/XXX/g" input.txt; done < to_mask.txt 

おそらくない、世界で最も効率的なソリューションを、しかしそれは仕事をしなければなりません:-)
ボーナスとしては、シェルそしてsedコマンドが...

UPDATE：

これは（それが一度だけ大きなinput.txtファイルを書き込み）高速であるソリューションです。 最初にfullmask変数を作成し、すべてのマスクを連結して|（OR演算子）で区切っています。 けれども、私が掲示最初のソリューションよりも、それはあまり明確見つける... :-)私はこのソリューションをテストしていないではないしてください

fullmask=""; cat to_mask.txt | while read mask; do fullmask="$fullmask|$mask"; done && sed -i "s/$fullmask/XXX/g" input.txt 

、それはいくつかの問題が含まれている可能性が...
より、それはto_mask.txtがないと仮定し任意の|も任意の/文字が含まれてい...

UPDATE 2：

申し訳ありません！ sedは置換で正規表現をサポートしていません...:-(
私は（単純なユースケースでテスト）ずっと醜い、perlを使用して、この解決策を考え出した、間違いなく作業：

fullmask="("; while read mask; do if [ "$fullmask" != "(" ]; then fullmask="$fullmask|$mask"; else fullmask="$fullmask$mask"; fi; done < to_mask.txt; fullmask="$fullmask)"; perl -p -i -e "s/$fullmask/XXX/g" input.txt 

Answer 3

あなただけの1つのコマンド必要があります：私はあなたが最初の[スカンソープ問題]（https://en.wikipedia.org/wiki/Scunthorpe_probの概念を理解しておくべきだと思い

awk 'NR==FNR{t=(t?t"|":"")$0;next} {gsub(t,"XXX")} 1' to_mask.txt input.txt