巨大なCSVファイルの高速grep

Question

私は検索する847のキーワードのリストを持つファイル（queryids.txt）を持っています。私は約12の巨大なcsvファイルからキーワードをgrepする必要があります（最大2,184,820,000行を持っています）。最終的には、それをある種のデータベースにロードしますが、今は特定のキーワードをgrepする必要があります。

私のコマンドは次のとおりです。私はこのようなbashスクリプトを書くことを考えています

LC_ALL=C fgrep -f queryids.txt subject.csv 

：

#!/bin/bash 

for f in *.csv 
do 
    (echo "Processing $f" 
    filename=$(basename "$f") 
    filename="${filename%.*}" 
    LC_ALL=C fgrep -f queryids.txt $f > $filename"_goi.csv") & 
done 

と私が使用してそれを実行します：nohup bash myscript.sh &

queryids.txtのルックスこのように：

ENST00000401850 
ENST00000249005 
ENST00000381278 
ENST00000483026 
ENST00000465765 
ENST00000269080 
ENST00000586539 
ENST00000588458 
ENST00000586292 
ENST00000591459 

対象ファイルは、次のようになります

target_id,length,eff_length,est_counts,tpm,id 
ENST00000619216.1,68,2.65769E1,0.5,0.300188,00065a62-5e18-4223-a884-12fca053a109 
ENST00000473358.1,712,5.39477E2,8.26564,0.244474,00065a62-5e18-4223-a884-12fca053a109 
ENST00000469289.1,535,3.62675E2,4.82917,0.212463,00065a62-5e18-4223-a884-12fca053a109 
ENST00000607096.1,138,1.92013E1,0,0,00065a62-5e18-4223-a884-12fca053a109 
ENST00000417324.1,1187,1.01447E3,0,0,00065a62-5e18-4223-a884-12fca053a109 

私は、これは長い時間がかかるだろう心配です。これを行うより速い方法がありますか？

ありがとうございます！私は、パフォーマンスを向上させるために提案することができ

Answer 1

いくつかのこと：

1. (..) &を使用して、サブシェルを起動する必要はありません、必要な場合は、中括弧{ ... } &を使用することができます。
2. 使用grep -F（非正規表現または固定文字列検索）grep実行速度
3. がbasenameコマンドを避け、このスクリプトを試してみてください

bash文字列操作を使用するようにする：私はあなたを示唆して

​​

これを小さなデータセットで実行して、パフォーマンスの向上を比較します。

Answer 2

あなたは代わりに、これを試みることができる：それは文字列の比較ではなく、正規表現を使用しています

awk ' 
BEGIN { 
    while ((getline line < "queryids.txt") > 0 ) { 
     re = (re=="" ? "" : re "|") line 
    } 
} 
FNR==1 { close(out); out=FILENAME; sub(/\.[^.]+$/,"_goi&",out) } 
$0 ~ re { print > out } 
' *.csv 

- 事項はと、そうならば、我々は何を行うことができますかどうか、それはqueryids.txt内の値に依存について。実際にはのファイルが含まれているかどうかに応じてこれを行うより高速でより堅牢な方法があります。ファイルの内容のいくつかの例を含めると、さらに役立つかもしれません。私はあなたを参照してください

は現在、いくつかのサンプル入力を掲載しているし、実際に私たちは、ハッシュ・ルックアップを使用してより速く、より確実にこれを行うことができます。

awk ' 
BEGIN { 
    FS="." 
    while ((getline line < "queryids.txt") > 0 ) { 
     ids[line] 
    } 
} 
FNR==1 { close(out); out=FILENAME; sub(/\.[^.]+$/,"_goi&",out) } 
$1 in ids { print > out } 
' *.csv