2つのファイルをkey - > values構造でマージする

Question

私はアイデアを探していますが、シェル（Linux）の次の問題の完全な解決策ではありません。最高の解決策は何ですか？ （awk、while-loop、sed ....）

同じ行構造を持つ2つのファイル：key-value-valueがあります。私はこれらの2つのファイルをマージしたい。値が存在しない場合、スクリプトは新しい行を挿入します。存在する場合、スクリプトは値を更新します（追加することにより）。

Example: 
File 1: 

john-15-40 
doo-10-91 
mary-14-19 
foo-11-0 

File 2: 

foo-110-10 
john-22-11 
ghost-1000-1000 

Result: 
foo-121-10 
john-37-51 
ghost-1000-1000 
doo-10-91 
mary-14-19 

どうすればいいですか？

Answer 1

awkを使用した単純な

awk ' 
    BEGIN {FS = OFS = "-"} 
    {v1[$1] += $2; v2[$1] += $3} 
    END {for (key in v1) {print key, v1[key], v2[key]}} 
' F1 F2 

Answer 2

アソシエイティブな配列を持つ言語が必要です。あなたの仕事はどのスクリプト言語でも非常に簡単ですが、perlとawkはテキストファイルを行ごとに処理するのに特に適しています。

擬似コード：

read line from file1, file2 
split line to key and values 
if there are no key in hash 
    add key and values 
else 
    add values and print key/values 

Answer 3

私はあなたがPHPでそれを要求していない知っているが、それが役立つかもしれません。あなたが好む場合は別の言語で似た何かがおそらくあります：

<?PHP 

$file_handle = fopen("file1", "r"); 

while (!feof($file_handle)) { 
$line_of_text = fgets($file_handle); 
list($name,$value1,$value2) = explode('-', $line_of_text); 
$file1[$name]=array($value1,$value2); 
} 
fclose($file_handle); 
// repeate for file2 
//then use the 2 arrays, $file1[] and $file2[] to rewrite the file as 'file3' or whatever. 
//Checking for duplicates and doing the math. 
?> 

Answer 4

これはバッシュ4でネイティブに実行できます。

#!/bin/bash 
declare -A vals_one vals_two 
while IFS=- read key val1 val2; do 
    if [[ ${vals_one["$key"]} ]] ; then 
    vals_one["$key"]=$((${vals_one["$key"]} + val1)) 
    vals_two["$key"]=$((${vals_two["$key"]} + val2)) 
    else 
    vals_one["$key"]=$val1 
    vals_two["$key"]=$val2 
    fi 
done < <(cat input1.txt input2.txt) 
for key in "${!vals_one[@]}"; do 
    printf '%s-%s-%s\n' "$key" "${vals_one[$key]}" "${vals_two[$key]}" 
done 

（注）このアプローチことややメモリ非効率です。よりメモリ効率の良いアプローチは、ファイルをマージする前にソートします（GNU sortは、ソートした内容がメモリに収まらない場合に一時ファイルを生成することができます。また、この後者の形態は、連想配列を必要とせず、古いはbashのバージョン（または、いくつかの適応と、他のシェル）で動作する

#!/bin/bash 

function merge_inputs { 
    IFS=- read key val1 val2 
    while IFS=- read new_key new_val1 new_val2; do 
     if [[ $key = "$new_key" ]] ; then 
     val1=$((val1 + new_val1)) 
     val2=$((val2 + new_val2)) 
     else 
     printf '%s-%s-%s\n' "$key" "$val1" "$val2" 
     key=$new_key 
     val1=$new_val1 
     val2=$new_val2 
     fi 
    done 
    printf '%s-%s-%s\n' "$key" "$val1" "$val2" 
} 
sort input1.txt input2.txt | merge_inputs 

：従って、専用メモリ内の時間で2つの行を格納するために必要。

Answer 5

私はglennのソリューションを好きです。さらに、tall thinソリューションがあります。

2つのファイル：1.txtと2.txtがある場合。

sort {1,2}.txt | 
awk -F- -vOFS=- ' 
NR==1{ 
    x=$1 
} 
x==$1{ 
    y+=$2 
    z+=$3 
    next 
} 
{ 
    print x,y,z; 
    x=$1 
    y=$2 
    z=$3 
} 
END{ 
    print 
}'