KMeansのアンバランス要因？

Question

編集：この質問の答えが頻繁にで議論されていますSum in Spark gone badCompute Cost of Kmeansで

---

、我々は1つが彼の関数kmeansモデルのコストを計算する方法を説明しました。不均衡の要因を計算できるかどうか疑問に思っていましたか？

Sparkが提供する機能がない場合は、これを実装する簡単な方法はありますか？

---

私はアンバランスの要因のための参照を見つけることができませんでしたが、それは（私のコメント）ヤエルのunbalanced_factorのようになります。

// @hist: the number of points assigned to a cluster 
// @n: the number of clusters 
double ivec_unbalanced_factor(const int *hist, long n) { 
    int vw; 
    double tot = 0, uf = 0; 

    for (vw = 0 ; vw < n ; vw++) { 
    tot += hist[vw]; 
    uf += hist[vw] * (double) hist[vw]; 
    } 

    uf = uf * n/(tot * tot); 

    return uf; 

} 

私はhereを発見しました。

したがって、（合計）はクラスタに割り当てられたポイントの数（データセットのサイズに等しい）に等しくなり、uf（不平衡係数の場合）はクラスタに割り当てられたポイント。

最後に、uf = uf * n/(tot * tot);を使用して計算します。それはのようなものかもしれないpythonで

Answer 1

：

# I suppose you are passing an RDD of tuples, where the key is the cluster and the value is a vector with the features. 
def unbalancedFactor(rdd): 
    pdd = rdd.map(lambda x: (x[0], 1)).reduceByKey(lambda a, b: a + b) # you can obtain the number of points per cluster 
    n = pdd.count() 
    total = pdd.map(lambda x: x[1]).sum() 
    uf = pdd.map(lambda x: x[1] * float(x[1])).sum() 

    return uf * n/(total * total)