Pythonの大規模配列のサマリー統計をインクリメンタルに計算する

Question

コンピュータのメモリに収まらない要素の集合を持つ非常に大きな配列があるとします。 Pythonでこの配列の平均値、中央値、標準偏差、およびその他の要約統計値をどのように計算しますか？

平均値を計算する数学を漸進的に説明し、リストやイテレータオブジェクトをとるPython関数も提供していますが、必ずしもイテレータオブジェクトにアクセスできない場合があるため、 collections.Counterと同様に動作します。しかし、std、min、max、median、skewness、kurtosisなどのようなものを計算するにはどうすればよいですか？

次のコードは、増分mean、minとmaxを実装し、残りはフィットする場所を示して、最小限の作業例です：

class Inc_sumstats(object): 
    def __init__(self): 
     self.length = 0 
     self.mean = 0 
     #self.std = 0 
     self.min = np.inf 
     self.max = 0 
     #self.median = 0 
     #self.skewness = 0 
     #self.kurtosis = 0 

    def update(self, num): 
     self.length += 1 
     self.mean = (self.mean * (self.length - 1) + num)/self.length 
     #self.std = ... 
     self.min = num if num < self.min else self.min 
     self.max = num if num > self.max else self.max 
     #self.median = ... 
     #self.skewness = ... 
     #self.kurtosis = ... 
     return self 

更新：

I私はこのサイトのsimilar questionsを知っていますが、私は解決策が見つかっていません。うん。私のバックグラウンド研究で何かが欠けている場合は、質問をリンクしたり、重複としてマークしてください。

Answer 1

あなたが探しているのは、オンラインアルゴリズムの注文統計情報です。オンラインアルゴリズムは、いくつかの統計のためのジェネレータのようなものです。メモリやディスクから読み込んだデータを蓄積するので、プログラマはメモリ管理の問題を処理しても正しい出力を得ることができます。

あり、これらのアルゴリズムの実装の背後にあるCS理論の多くは、ですが、あなたはここでそれについての詳細を読むことができます：https://en.wikipedia.org/wiki/Selection_algorithm#Online_selection_algorithm

数学とはいえ、やや直感的である：あなたのクラスは、要素の数を更新し、再計算しなければなりません平均値、最小値、最大値、尖度、std-devなどを前の値の関数として返し、これらの値をタプルとして返します。私は、あなたは、オンライン統計アルゴリズムを構築する方法についての徹底的な答えを、この質問を参照してください。

"On-line" (iterator) algorithms for estimating statistical median, mode, skewness, kurtosis?