大きなテキストファイルの処理

Question

Mathematicaで遅延読み込みを実装する必要があります。私は処理する必要がある600 MbのCSVテキストファイルを持っています。このファイルには、重複したレコードがたくさん含まれていますメモリにそれらすべてをロードするので、代わりに

1;0;0;13;6 
1;0;0;13;6 
.......... 
2;0;0;13;6 
2;0;0;13;6 
.......... 
etc. 

を、私はレコードとこのレコードがファイルに遭遇した回数を含むリストを作成したいと思います：

{{10000,{1,0,0,13,6}}, {20000,{2,0,0,13,6}}, ...} 

私はインポート機能でそれを行う方法を見つけることができませんでした。私は

myProcessingFunctionは、一度に1つのレコードを取得し、データセットを作成します

Import["my_file.csv", "CSV", myProcessingFunction] 

のようなものを探しています。 Importやその他のMathematica関数でこれを行うことは可能ですか？

Answer 1

もし私だったら、私はおそらくUNIXのsortとuniqを使ってこれを行うでしょうが、Mathematicaについて尋ねると、私はReadList []を使って行のブロックを読み、ユニークな文字列以前に見た数を把握しています。

(* Create some test data *) 
Export["/tmp/test.txt", Flatten[{Range[1000], Range[1000]}], "Lines"]; 

countUniqueLines[file_String, blockSize_Integer] := Module[{stream, map, block, keys, out}, 
    map[_]:=0; 
    stream = OpenRead[file]; 
    CheckAbort[While[(block=ReadList[stream, String, blockSize])=!={}, 
     (map[#]=map[#]+1)& /@ block;];, Close[stream];Clear[map]]; 
    Close[stream]; 
    keys = Cases[DownValues[map][[All, 1, 1, 1]], _String]; 
    out = {#, map[#]}& /@ keys; 
    Clear[map]; 
    out 
] 

countUniqueLines["/tmp/test.txt", 500] 


(* Alternative implementation if you have a little more memory *) 
Tally[Import["/tmp/test.txt", "Lines"]] 

Answer 2

Read[]機能が必要だと思います。

Answer 3

おそらく、これを行うためのMathematicaよりも優れた選択肢があります。

小さなawkスクリプト：

{a[$0]++} 
END { ... print loop ... } 

は、繰り返し記録を蓄積します。もちろん、別個のレコードの数に応じてオーバーフローが発生する可能性があります。

またはソートファイルが最初にカウントされ、オーバーフローしません。 awkでは、非オーバーフロープログラムは次のようなものです。

BEGIN{ p =""; i=0} 

{if (($0 != p) && (i != 0)) {print $0,i ; p =$0; i=0; next}} 

{i++; p = $0} 

おそらく、Perlは優れていますが、私は古風です。

HTH！

Answer 4

私は、MySQLなどのデータベースシステムに最初にそれをロードを検討することをお勧めいたしますでしょうし、あなたがのMathematica DatabaseLinkを使用してからアクセスすることができます。