高速なgrep/grep（回線番号のみ）？

Question

私はgrepやgrepのようなツールを探しています。これには、grep、egrep、awk、sed、またはマッチの検索に使用されるその他のツールが含まれますが、これに限定されません。しかし、私は残りの質問のためにそれをgrepと呼びます。

私は、ファイルをgrepするための速い方法を探しています。また、一致するファイルをgrepし、行番号を返すのが最も速い方法を探しています。ライン。文法が複雑で複雑なものであれば、私は心配しないでください。プログラムの複雑さの中で使用するつもりはありません。

パターンを正規表現する必要がある場合は、このメソッドを使用して範囲を検索することもできます。だから、私は10未満のすべての数字を検索する必要がある場合は、commmandがデフォルトでそれをサポートしている場合、または正規表現にする必要がある場合、私は見つけることができる最も速い方法を探しています。

ありがとうございました。

編集

私が働いているファイルは非常に大きくなり、私のテストファイルは、最初の試合の後に停止するには1.9ギガバイト

Answer 1

KingsIndianはgrepの-mオプションでターゲットになっていますが、スピードが主な目標である場合はcutがこの特定の用途ではawkより速くなる場合があります。試してみてください。-f1引数は出力のみに最初のフィールドを、それを伝えながら-d:引数は、フィールド区切り文字としてコロンを使用するためにカット指示します

grep -n -m 1 regex file | cut -d: -f1 

。

Answer 2

です：

grep -n -m 1 str file | awk -F: '{print $1}' 

あなたは、引数の値を変更することができますmの値を異なる値に設定すると、多くの一致後に停止します。 awk部分は、行番号のみをキャプチャすることです。あなたはそのためtailを使用することができます
：

grep -n -m 5 str file | awk -F: '{print $1}' 

を編集：5つの試合の後に停止するには

。例えば、最初の5試合をスキップして、次の7を印刷：grep -n -m 12 str file| tail -7 | awk -F: '{print $1}'

Answer 3

私はこれが高速であるかどうかわからないんだけど、これが動作しているようです：

nl -b a "<filename>" | grep "<phrase>" | awk '{ print $1 }' 

Answer 4

あなたはGNU awkを用いたパターンマッチングを行うことができますし、単純に行番号をプリントアウト：値を仮定し

awk '/regex/ { print NR }' file.txt 

は、行が10未満の数字が含まれている場合は、行番号を見つけることができるスペースで区切られ、以下のとおりです。

awk '{ for (i=1; i<=NF; i++) if ($i <= 10) print NR }' file.txt 

ただし、これは10未満の数字の各行の行番号を出力します。これは望ましくないと思われるかもしれません。あなたはsort -nにソート出力、パイプが必要な場合は

awk '{ for (i=1; i<=NF; i++) if ($i <= 10) array[NR]++ } END { for (i in array) print i }' file.txt 

：したがって、各試合のために、複数の重複した行番号を削除するには、配列を使用することができます。より洗練されたソリューション（例：

awk '{ for (i=1; i<=NF; i++) if ($i <= 10) array[NR]++ } END { for (j in array) sorted[k++]=j+0; n = asort(sorted); for (j=1; j<=n; j++) print sorted[j] }' file.txt 

EDIT：なし配管）との上記最後の三つawkコマンドのいずれにおいて

、単に11〜20包括的な結果を表示するif ($i >= 11 && $i <= 20)にif ($i <= 10)を変更します。

Answer 5

私はちょうどnonforking SED呼び出しでいくつかのテストを行い、幸運ではなかったが、私の$パターンは非常に最後の行の一部である1ギガバイトのテキストファイル、とここに参照のため番号：

（スポイラー： grepが、awkは-mがある

 
user@box:~$ ls -lh /dev/shm/test 
-rw-r--r-- 1 user user 979M Jul 8 09:50 /dev/shm/test 

 
user@box:~$ sed --version | head -n1 
GNU sed-Version 4.2.1 
user@box:~$ time sed -n "/$PATTERN/{=;q}" /dev/shm/test 
206558 

real 0m6.835s 
user 0m6.160s 
sys 0m0.648s 

 
user@box:~$ grep -V | head -n1 
grep (GNU grep) 2.14 
user@box:~$ time grep -n -m 1 "$PATTERN" /dev/shm/test | cut -d: -f1 
206558 

real 0m1.337s 
user 0m0.592s 
sys 0m0.736s 

 
user@box:~$ awk --version | head -n1 
GNU Awk 4.0.1 
user@box:~$ time awk "/$PATTERN/ { print NR }" /dev/shm/test 
206558 

real 0m7.176s 
user 0m6.356s 
sys 0m0.776s