PowerShellは：ファイルを考えてみましょファイル

Question

から類似した行を削除tbl.txt（150万行）は、のように構築された：

 
    63 ; 193 ; 'Green' ; 'Color' 
152 ; 162 ; 'Tall' ; 'Size' 
230 ; 164 ; '130lbs' ; 'Weight' 
249 ; 175 ; 'Green' ; 'Color'  *duplicate on 'Value' and 'Attribute'* 
420 ; 178 ; '8'  ; 'Shoesize' 
438 ; 172 ; 'Tall' ; 'Size'  *duplicate on 'Value' and 'Attribute'* 

がどのように私はkeeptことができます。

Num1 ; Num2 ; 'Value' ; 'Attribute'

だからtbl.txtは次のようになります最初のユニークな行は'Value'と'Attribute' であり、その後はの重複する行を削除しますと'Attribute'？すべてのヘルプははるかに高く評価されて

 
    63 ; 193 ; 'Green' ; 'Color' 
152 ; 162 ; 'Tall' ; 'Size' 
230 ; 164 ; '130lbs' ; 'Weight' 
420 ; 178 ; '8'  ; 'Shoesize' 

：

結果は次のようになります。

Answer 1

Get-Contentでテキストファイルをループし、文字列操作で列'Value' ; 'Attribute'を分離し、ハッシュマップを使用して、すでに類似の行を処理しているかどうかを確認します。また

$map = @{}; 
Get-Content tbl.txt | ` 
      %{ $key = $_.Substring($_.IndexOf(';',$_.IndexOf(';')+1)+1); ` 
       If(-not $map.ContainsKey($key)) { $_; $map[$key] = 1 } ` 
       } 

、コメントで述べたように、あなたがgroupを使用し、クリテリウムをグループ化するのと同じ部分文字列を適用し、最終的には各グループの最初の要素を取ることができます：コードで

ことを想定し

Get-Content tbl.txt | group {$_.Substring($_.IndexOf(';',$_.IndexOf(';')+1)+1)} ` 
        | %{$_.Group[0]} 

Answer 2

あなたのデータはヘッダーなしです：

：

Import-CSV "C:\folder\data.txt" –Delimiter ";" -Header Num1,Num2,Value,Attribute | Sort-Object -Property Value -Unique 

はあなたの所望の出力を提供します

Num1 Num2 Value  Attribute 
---- ---- -----  --------- 
230 164 '130lbs' 'Weight' 
420 178 '8'  'Shoesize' 
63 193 'Green' 'Color' 
152 162 'Tall' 'Size' 

あなたの結果をエクスポートするエクスポート-CSVを使用することができます。

Import-CSV "C:\folder\data.txt" –Delimiter ";" -Header Num1,Num2,Value,Attribute | Sort-Object -Property Value -Unique | Export-CSV "C:\folder\data2.txt" –Delimiter ";" -NoTypeInformation