NumPyからDaskへの相関係数関数の変換

Question

メソッドをthunder（Sparkを使用）から同等のnumpyバージョンに変換してdaskを評価しようとしていますが、dask/distributedを使用してこれを書く方法がわかりません。

は雷では、私は、画像のスタックを取ることができますシリーズに変換し、いくつかの信号に対して相関：

imgs = thunder.images.fromrandom((10, 900, 900)) 
series = imgs.toseries() 
signal = series[5, 5, :] 
correlated = series.correlate(signal) 

numpyのバージョンは次のようになります。

series = numpy.random.rand(900, 900, 10) 
signal = series[5, 5, :] 

reshaped = series.reshape(900 * 900, 10) 

correlated = numpy.asarray(
    map(lambda x: numpy.corrcoef(x, signal)[0, 1], reshaped)) 
) 
final = correlated.reshape(900, 900) 

私は」これを特に配布用に変換する方法に関するヒントを探しています。

Answer 1

おそらく次のようなものでしょうか？

import dask.array as da 
import numpy as np 

imgs = da.random.random((10, 900, 900), chunks=(1, 900, 900)) 
reshaped = imgs.reshape((10, 900 * 900)) 

あなたは

result = da.corrcoef(reshaped) 
result.compute() 

またはいくつかの他の信号

signal = np.random.random(900 * 900) 
result = reshaped.map_blocks(np.corrcoef, signal, dtype=signal.dtype) 
result.compute() 

に対してお互いにあなたのイメージを相関したい場合はしかし、私はあなたのアプリケーションに精通していないよ、そう上記の応答に欠陥がある可能性があります。