awkの連想配列の制限です。メモリ使用量

Question

私は2000万を超えるレコードを持つファイルを持っており、第1列の一意の値ごとに5列目を合計したいので、以下のコードを使用しました。

cat test.txt |awk 'BEGIN{FS="|"}{a[$1]+=$5;}END{for(i in a) print i"|"a[i];}' 

最大値は、[i]の出力に任意のソリューション...親切に私を助けて9999

に制限されています？

Answer 1

$ cat > file 
1||||a|NOTICE A LETTER IN FIFTH 
1||||5 
2||||57 
2||||34535 
3||||34535353 
3||||1 
1||||1 
$ cat file|awk 'BEGIN{FS="|"}{a[$1]+=$5;}END{for(i in a) print i"|"a[i];}' 
1: 6 
2: 34592 
3: 34535354 

上記のデータではどうなりますか？