KMeans with Spark 1.6.2 VS Spark 2.0.0

Question

私は制御がない環境でKmeans()を使用しており、私は<で1ヶ月放棄します。スパーク1.6.2。がインストールされています。

私は出発する前に「them」をSpark 2.0.0にアップグレードするよう促す代価を支払うべきですか？つまり、Spark 2.0.0はの改善点をに導入しました。Spark Mllib KMeans（）？

私の場合、品質は速度よりも重要な要素です。

Answer 1

これはあまりありません。

スパーク2.0.0のみSPARK-15322、SPARK-16696とSPARK-16694により導入された比較的大きな変化にany significant improvements to the core RDD APIとKMeans実装didn't change much since 1.6を導入しません。

ML APIを使用している場合は、SPARK-14850に関連する改善点もありますが、ここではゲームチェンジャーは表示されません。