NumPyで大規模な配列を何回も効率的にサンプリングする方法はありますか？あなたは私が実装しようとしているかの詳細については気にしない場合は

Question

、ちょうど私がnumpyの持ついくつかの統計上のブートストラップ誤差推定を行うにしようとしています下の水平線

をスキップ。私は配列xを持っていて、誤差分析の通常のガウス仮説が成立しない統計量f(x)の誤差を計算したいと考えています。 xは非常に大きいです。これを行うには

、私は私の再サンプルのサイズは、交換して、元の配列の大きさであるnumpy.random.choice()を、使用してxをリサンプル：

resample = np.random.choice(x, size=len(x), replace=True)

これは私にxの新しい実現を与えます。この操作は、正確な誤差の推定値を得るために約1000回繰り返さなければならない。私がこのような性質のリサンプルを1000回生成した場合、

resamples = [np.random.choice(x, size=len(x), replace=True) for i in range(1000)]

し、各実現に統計f(x)を計算します。

results = [f(arr) for arr in resamples]

その後、私はたとえf(x)自体はガウスエラー解析、分布を用いて記述することができないということでアイデア

np.std(results)

のようなものであることをf(x)のエラーが推測されていますf(x)ランダムエラーの措置のはすることができます。

---

これはブートストラップです。さて、私の問題は、ライン

resamples = [np.random.choice(x, size=len(x), replace=True) for i in range(1000)]

が大きな配列のため非常に遅いことです。リストの理解なしにこれを行うよりスマートな方法はありますか？第二のリストの内包表記

results = [f(arr) for arr in resamples]

は機能f(x)の内容によっては、あまりにもかなり遅くなることがあります。

Answer 1

我々は繰り返しを許可しているので、そうのように、我々は、np.random.randintに一度のすべてのインデックスを生成し、resamples同等のものを得るために、単に指数ができ -

num_samples = 1000 
idx = np.random.randint(0,len(x),size=(num_samples,len(x))) 
resamples_arr = x[idx] 

もう一つのアプローチから乱数を生成することであろうそうのような配列の長さにnumpy.random.randとスケールとの均一な分布、 -

resamples_arr = x[(np.random.rand(num_samples,len(x))*len(x)).astype(int)] 

x 5000のelemsと

ランタイム試験 -

---

In [221]: x = np.random.randint(0,10000,(5000)) # Original soln In [222]: %timeit [np.random.choice(x, size=len(x), replace=True) for i in range(1000)] 10 loops, best of 3: 84 ms per loop # Proposed soln-1 In [223]: %timeit x[np.random.randint(0,len(x),size=(1000,len(x)))] 10 loops, best of 3: 76.2 ms per loop # Proposed soln-2 In [224]: %timeit x[(np.random.rand(1000,len(x))*len(x)).astype(int)] 10 loops, best of 3: 59.7 ms per loop 

600,000要素の非常に大きな配列xでx

非常に大きいために、あなたは1000サンプルのためにすべてのそれらのインデックスを作成したくない場合があります。 @Divakarで示唆したように、あなたがむしろリストの内包表記を使用するよりも、リサンプリングの2次元配列を取得するためにsizeにタプルを渡すことができ

In [234]: x = np.random.randint(0,10000,(600000)) 

# Original soln 
In [235]: %timeit np.random.choice(x, size=len(x), replace=True) 
100 loops, best of 3: 13 ms per loop 

# Proposed soln-1 
In [238]: %timeit x[np.random.randint(0,len(x),len(x))] 
100 loops, best of 3: 12.5 ms per loop 

# Proposed soln-2 
In [239]: %timeit x[(np.random.rand(len(x))*len(x)).astype(int)] 
100 loops, best of 3: 9.81 ms per loop 

Answer 2

- その場合には、サンプルあたりのソリューションは、そのタイミングこのようなものを持っているでしょう。

ここで、fは他の機能ではなく単に合計であると仮定します。その後：

x = np.random.randn(100000) 
resamples = np.random.choice(x, size=(1000, x.shape[0]), replace=True) 
# resamples.shape = (1000, 1000000) 
results = np.apply_along_axis(f, axis=1, arr=resamples) 
print(results.shape) 
# (1000,) 

ここnp.apply_along_axisは確か[f(arr) for arr in resamples]ちょうど見せかけforループと等価です。あなたの質問に基づいてxのインデックスを作成する必要があるかどうかは正確には分かりません。