ジェネレータ式を受け入れるPython補間メソッド？

Question

だから私は、それぞれがN_pixのN配列の大きなセットを持っています。私はPythonですべての配列を補間したい（つまり、N個のデータ点を持つN_pix補間を実行する）。

問題は、各アレイが非常に大きいことです（それぞれ100sMBのアレイで100sMBになる可能性があるため）、すべてをメモリに読み込まないようにしたいと思います。

私の最初は、しかし、大きなファイルを一つずつ読んで、補間ルーチンにその発電機を渡すためにジェネレータ式を使用していた：

def read_data_from_disc(paths): 
    # Cycle through paths, and yield each large array 
    for path in paths: 
     yield np.loadtxt(path) 

def interpolation(xs, paths): 
    # Iterable returns large arrays one by one. 
    iterable = read_data_from_disc(paths) 
    # Use some interpolation routine that can handle an 
    # iterable and interpolate iterable over 1d array, xs. 
    spline = interpolator(xs, iterable, axis=0) 
    return spline 

しかし、私はそのようなinterpolatorを見つけることに成功していません。私は具体的な実装の詳細をよく知らない。 scipy.interpolate.interp1dまたはscipy.interpolate.CubicSpline（これは通常私が使用しているものです）、おそらく私が求めていることは実際には不可能です。これが当てはまる場合、私はこれらのアレイのすべてを同時にメモリに読み込む必要がないような代替アプローチを提案することができますか？

Answer 1

あなたのiterableをループして、1つずつ配列を生成する必要があります。それは、今interpolation機能は、私はあなたの例のコードを使用しての意図である疑いが何である、すべてのスプラインのリストを返します

def interpolation(xs, paths): 
    iterable = read_data_from_disc(paths) 
    splines = [interpolator(xs, array, axis=0) for array in iterable] 
    return splines 

ような何かをしています。 interpolator関数がスプラインオブジェクトの作成後に配列データを格納しない場合は、すべての配列を同時にメモリに保存しないという目標を達成しています。