複数のファイルから重複をカウントする

Question

重複する文字列を含む5つのファイルがあります。

FILE1：

a 

FILE2：

b 

FILE3：

a 
b 

FILE4：

b 

file5：

c 

だから私はawk 'NR==FNR{A[$0];next}$0 in A' file1 file2 file3 file4 file5

を使用し、それが$ aを印刷していますが、b 3回は、他のファイルに繰り返した文字列が、唯一の印刷がある見るようにa。

すべての繰り返し文字列（ab）を1行のコマンドを使用して各ファイルを分析/比較する方法を教えてください。また、各要素の繰り返し数を取得する方法もあります。

Answer 1

あなたはこれらのいずれかを使用することができます。

awk '{count[$0]++}END{for (a in count) {if (count[a] > 1) {print a}}}' file1 file2 file3 file4 file5 

または

awk 'seen[$0]++ == 1' file1 file2 file3 file4 file5 

あなたは= 3、B = 4のためにこれをテストすることができます。

awk '{count[$0]++} END {for (line in count) if (count[line] == 3 && line == "a" || count[line] == 4 && line == "b") {print line} }' file1 file2 file3 file4 file5 

テスト：AWKで

$ awk '{count[$0]++}END{for (a in count) {if (count[a] > 1) {print a}}}' file1 file2 file3 file4 file5 
a 
b 


$ awk 'seen[$0]++ == 1' file1 file2 file3 file4 file5 
a 
b 

$ awk '{count[$0]++} END {for (line in count) if (count[line] == 2 && line == "a" || count[line] == 3 && line == "b") {print line, count[line]} }' 1 2 3 4 5 
a 2 
b 3 

Answer 2

私はGNUソートとuniqのにお勧め：

sort file[1-5] | uniq -dc 

出力：man uniqから

2 a 
3 b 

---

：

-d：のみ、重複行を印刷

を

-c：出現回数によってプレフィックスライン

Answer 3

：

$ awk '{ a[$1]++ } END { for(i in a) if(a[i]>1) print i,a[i] }' file[1-5] 
a 2 
b 3 

これは、各レコード（この場合は文字）のoccurrancesをカウントし、1個以下の数でものを出力します。