レコードを更新して2つのテキストファイルを結合する（既存のものを更新する、新しいものを挿入する）

Question

2つのテキストファイルの間にSQL MERGE（またはUPSERT）と同等の処理を実行するUNIXシェルソリューションを探しています。他のフィールドは更新/上書きすることができます。

入力データ

これは私の元のデータである：最初の3つのフィールド（製品、カスタマーと日）がキーフィールドです

AA;123;2016-01-31;1;456.53 
AA;123;2016-02-01;1;75.24 
AB;123;2000-08-08;1;756.1 
AB;456;2016-07-07;2;8.24 
CC;123;2007-07-21;15;10.34 
CC;456;2009-09-09;9;943.65 
CC;789;2005-04-23;1;1345.6 

、そして最後に2つのフィールド（数量および量）を更新することができます。

これが唯一の新規および更新されたデータが含まれている私の第二のファイルです：両方のファイルがでソートされている

AA;123;2016-01-31;7;983.63 
AA;123;2016-08-24;17;1687.73 
CC;456;2009-09-09;11;2161.65 
DD;91;2016-08-03;5;98.48 

：

sort -t';' -k1 -k2 -k3 

第一及び第三のレコードは、既存の行を上書きする必要があります（更新数量および金額）、2番目と3番目のレコードは新しい行として挿入する必要があります。私はsort、uniqまたはawkとperlを使用していくつかの簡単な解決策を探しています

所望の出力

AA;123;2016-01-31;7;983.63 
AA;123;2016-08-24;17;1687.73 
AA;123;2016-02-01;1;75.24 
AB;123;2000-08-08;1;756.1 
AB;456;2016-07-07;2;8.24 
CC;123;2007-07-21;15;10.34 
CC;456;2009-09-09;11;2161.65 
CC;789;2005-04-23;1;1345.6 
DD;91;2016-08-03;5;98.48 

。

Answer 1

あなたが第一、第二、第三のフィールドのインデックスがFILE2に一致したときFILE1の行を上書きします。つまり、file2はfile1よりも「preference」を持っているため、file2の対応がない場合はfile1の行だけが出力されます。

もしそうなら、file2から始まり、file1-file2-file3-wiseを繰り返す行をスキップして、2つのファイルをすべて印刷するとどうでしょうか？その後、パイプがソートされた出力のためにソートする：

$ awk -F";" '!seen[$1, $2, $3]++' f2 f1 | sort 
AA;123;2016-01-31;7;983.63 
AA;123;2016-02-01;1;75.24 
AA;123;2016-08-24;17;1687.73 
AB;123;2000-08-08;1;756.1 
AB;456;2016-07-07;2;8.24 
CC;123;2007-07-21;15;10.34 
CC;456;2009-09-09;11;2161.65 
CC;789;2005-04-23;1;1345.6 
DD;91;2016-08-03;5;98.48 

Answer 2

$ awk -F\; '{a[$1 FS $2 FS $3]= $4 FS $5} END {PROCINFO["sorted_in"]="@ind_str_asc"; for (i in a) print i FS a[i]}' file1 file2 
AA;123;2016-01-31;7;983.63 
AA;123;2016-02-01;1;75.24 
AA;123;2016-08-24;17;1687.73 
AB;123;2000-08-08;1;756.1 
AB;456;2016-07-07;2;8.24 
CC;123;2007-07-21;15;10.34 
CC;456;2009-09-09;11;2161.65 
CC;789;2005-04-23;1;1345.6 
DD;91;2016-08-03;5;98.48 

を説明：

{ 
    a[$1 FS $2 FS $3] = $4 FS $5 # write records overwriting where needed 
} 
END { 
    PROCINFO["sorted_in"]="@ind_str_asc" # for sort order 
    for (i in a)       # output indexed records 
     print i FS a[i] 
}