Python - ファイルから列イテレータを取得する（ファイル全体を読むことなく）

Question

私の主な目標は、フロートの巨大な行列からメジアン（列単位）を計算することです。例：

a = numpy.array(([1,1,3,2,7],[4,5,8,2,3],[1,6,9,3,2])) 

numpy.median(a, axis=0) 

Out[38]: array([ 1., 5., 8., 2., 3.]) 

マトリックスは、Pythonメモリ（〜5件のテラバイト）に収まるには大きすぎるので、私はcsvファイルに保管してください。 だから私は各列を実行し、中央値を計算したいと思います。

ファイル全体を読み取らずに列イテレータを取得する方法はありますか？

マトリックスの中央値を計算する他のアイデアも良いでしょう。ありがとうございました！

Answer 1

N個の空のファイルを各列に1つずつ初期化することでこれを行います。行列を一度に1行ずつ読み込み、各列のエントリを正しいファイルに送ります。行列全体を処理したら、各ファイルの中央値を順番に計算して戻します。

これは基本的にファイルシステムを使用して行列転置を行います。転置後、各行の中央値を計算するのは簡単です。あなたは（あなたができる暗示するように見える）メモリに各列を収めることができた場合は

Answer 2

、これは動作するはずです：

これは、我々が持っているどのように多くの列を見つけることによって動作します

import itertools 
import csv 

def columns(file_name): 
    with open(file_name) as file: 
     data = csv.reader(file) 
     columns = len(next(data)) 
    for column in range(columns): 
     with open(file_name) as file: 
      data = csv.reader(file) 
      yield [row[column] for row in data] 

は、そのファイルをループ現在の列の項目を各行から取り出します。これは、たいてい、カラムのサイズとメモリの行のサイズを同時に使用していることを意味します。それはかなり単純なジェネレータです。ファイルをループしたときにイテレータを使い果たすので、ファイルを再オープンしなければならないことに注意してください。

Answer 3

bucketsortを使用すると、ディスク上の各列をすべてメモリに読み込まずに並べ替えることができます。次に、中央値を選択するだけです。

または、セントラルを選択する前に、UNIX awkおよびsortコマンドを使用して列を分割して並べ替えることができます。

Answer 4

おそらくあなたが誤解していない限り、あなたがcsvファイルで求めていることを行う直接的な方法はありません。問題は、ファイルが固定幅の行を持つように特別に設計されていない限り、すべてのファイルに「列」がある意味のある意味がないことです。 CSVファイルは一般にそのようには設計されていません。ディスク上では、これらは巨大な文字列に過ぎません。

>>> import csv 
>>> with open('foo.csv', 'wb') as f: 
...  writer = csv.writer(f) 
...  for i in range(0, 100, 10): 
...   writer.writerow(range(i, i + 10)) 
... 
>>> with open('foo.csv', 'r') as f: 
...  f.read() 
... 
'0,1,2,3,4,5,6,7,8,9\r\n10,11,12,13,14,15,16,17,18,19\r\n20..(output truncated).. 

ご覧のとおり、列フィールドは予測できません。 2番目の列はインデックス2から開始しますが、次の行では列の幅が1増加し、配置が解除されます。入力の長さが変わるとこれはさらに悪化します。結論は、csvリーダーがあなたが使用していないデータを投げ捨てて、ファイル全体を読む必要があるということです。 （あなたが気にしないなら、それは答えです - 使用しないデータを投げ捨てて、行ごとにファイル全体を読んでください）

スペースを無駄にしていないことを知っていればあなたのデータのどれも固定幅よりも長くない場合は、固定幅のフィールドを持つファイルを作成し、オフセットを使ってそれを探し出すことができます。しかし、いったんそれをやったら、実際のデータベースを使い始めることもできます。 PyTablesは、数が少ない配列を格納するための多くのお気に入りの選択肢のようです。