削除冗長データ

Question

私は、このようなファイル（3列とn行の数を）持っている

chr8 101999980 102031975 
chr8 101999980 102033533 
chr8 101999980 102033533 
chr8 101999980 102032736 
chr8 101999980 102034799 
chr8 101999980 102034799 
chr8 101999980 102034397 
chr8 101999980 102032736 

と

私は冗長な行を削除すると、これらの正確な繰り返しのデータはどこにでも存在する可能性があり、このデータから、このデータセットではbashスクリプトを使用しています。

Answer 1

sort yourfile | uniq > outputfile 

ご注文いただいた場合は問題ではありません。

これは隣接する同じ行で動作します。そのため、並べ替えが必要です。あなたのファイルでは、重複が互いに隣り合っているのでソートする必要はありません。それが標準的なケースでない場合は、まずファイルをソートする必要があります。

$ uniq yourfile | wc -l 
6 
$ sort yourfile | uniq | wc -l 
6 

ソートの有無にかかわらず、6行が返されますが、デフォルトではありません。

Answer 2

あなたはsortとuniqを通じてパイプファイルをすることができます

$ sort yourFile | uniq > newFile 

Answer 3

順序を維持することが重要である場合：

awk '!c[$0]++' filename 

これは以下のように読み取ることができる。

• は++（、配列のキー（c[$0]）として
• ポストインクリメントを各ラインを押します）そのような行の数を保持する値、および
• は、行が以前に見たことがない場合にのみ、デフォルトアクションを実行します（!）
  • n++戻り0、またはfalse、nが設定されていない場合
  • デフォルトのアクションは{print}