スパーク - KMeans.train

Question

ではIllegalArgumentException

以下のようなKMeans.train()内部ながら、私は例外に実行しています：

java.lang.IllegalArgumentException: requirement failed 
    at scala.Predef$.require(Predef.scala:212) 
    at org.apache.spark.mllib.util.MLUtils$.fastSquaredDistance(MLUtils.scala:487) 
    at org.apache.spark.mllib.clustering.KMeans$.fastSquaredDistance(KMeans.scala:589) 
    at org.apache.spark.mllib.clustering.KMeans$$anonfun$runAlgorithm$3.apply(KMeans.scala:304) 
    at org.apache.spark.mllib.clustering.KMeans$$anonfun$runAlgorithm$3.apply(KMeans.scala:301) 
    at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:99) 
    at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:99) 
    at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:230) 
    at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40) 
    at scala.collection.mutable.HashMap.foreach(HashMap.scala:99) 
    at org.apache.spark.mllib.clustering.KMeans.runAlgorithm(KMeans.scala:301) 
    at org.apache.spark.mllib.clustering.KMeans.run(KMeans.scala:227) 
    at org.apache.spark.mllib.clustering.KMeans.run(KMeans.scala:209) 
    at org.apache.spark.mllib.clustering.KMeans$.train(KMeans.scala:530) 

これは私のデバッグを開始する場所に任意の手掛かりを与えるものではありません。
私は古いpostが見つかりましたが、この問題はKMeans.predict()にありましたが、これはトレーニング段階で起こっています。

Answer 1

このエラーの可能性が最も高いのは、ベクトルの入力値がさまざまな次元であることです。渡された入力（ベクトル入力）の詳細を共有することができれば、この理由でより確かなことができます。

渡されるベクターの寸法が同じであることを再確認してください。

Answer 2

だけで、ソースコードを見て、それが明らかになるだろう：

1. あなたのベクトルが同じ大きさを持っている必要があります。
2. 両方のベクターのノルムは、非負でなければなりません。

https://github.com/apache/spark/blob/17af727e38c3faaeab5b91a8cdab5f2181cf3fc4/mllib/src/main/scala/org/apache/spark/mllib/util/MLUtils.scala#L500

private[mllib] def fastSquaredDistance( v1: Vector, norm1: Double, v2: Vector, norm2: Double, precision: Double = 1e-6): Double = { val n = v1.size require(v2.size == n) require(norm1 >= 0.0 && norm2 >= 0.0) ...