2つの大きな単語リストの交差点

Question

私は2つの単語リスト（180kと260k）を持っていますが、私は両方のリストに表示される単語のセットである第3のファイルを生成したいと思います。

これを行うにはどのような方法が最適ですか？私はgrepを使って話すフォーラムを読んだが、単語リストはこの方法にとっては大きすぎると思う。

Answer 1

2つのファイルがソートされている場合（またはソート可能な場合）は、comm -1 -2 file1 file2を使用して交差点を印刷できます。

Answer 2

あなたは正しいです、grepは悪い考えです。 "男性はに参加します"と入力し、指示に従ってください。

あなたのファイルは、単一の列に単語の単なるリストである、または重要な単語が各行の最初のものであるならば、少なくとも、その後、すべてを行う必要がある場合：

$ sort -b -o f1 file1 
$ sort -b -o f2 file2 
$ join f1 f2 

そうしないと、

JOIN(1)     BSD General Commands Manual     JOIN(1) 

NAME 
    join -- relational database operator 

SYNOPSIS 
    join [-a file_number | -v file_number] [-e string] [-o list] [-t char] [-1 field] [-2 field] file1 file2 

DESCRIPTION 
    The join utility performs an ``equality join'' on the specified files and writes the result to the standard output. The ``join field'' is the field in each file by which the files are compared. The 
    first field in each line is used by default. There is one line in the output for each pair of lines in file1 and file2 which have identical join fields. Each output line consists of the join field, 
    the remaining fields from file1 and then the remaining fields from file2. 
    . . . 
    . . . 

Answer 3

は、1行に1つの単語を推定、私はgrepを使用します：（1）いくつかの追加の指示を命じる参加与える必要があるかもしれません

grep -xFf seta setb 

• -x
• -Fは文字通り（非正規表現）を与えられたパターンを解釈しない全行（部分的な一致を）一致
• -f setaは
• setbを検索するパターンを指定するコンテンツを検索するためのファイルでありますseta

commの同じことを行うが、事前にソートされるように、あなたのセットを必要とします：

comm -12 <(sort seta) <(sort setb) 

Answer 4

grep -P '[ A-Za-z0-9]*' file1 | xargs -0 -I {} grep {} file2 > file3

私は、これはFILE1で何かを探し信じているファイルfile1にあったことはFILE2であり、かつFILE3に一致するものを置く場合は、チェックします。

Answer 5

が戻る私は似た何かをするPerlスクリプト見つけることができた日数：それはそれらのいずれかを判明

http://www.perlmonks.org/?node_id=160735