Spark MLlib IDFシャッフルデータはありますか？

Question

次のコードでは、IDFおよびTF-IDFベクトルの計算中にデータをシャッフルする必要がありますか？

val hashingTF = new HashingTF() 
val tf: RDD[Vector] = hashingTF.transform(documents) 
tf.cache() 
val idf = new IDF().fit(tf) 
val tfidf: RDD[Vector] = idf.transform(tf) 

Answer 1

それはシャッフルしない：

• どちらtransform方法はRDD.map
• IDF.fitがRDD.treeAggregateを使用して実装されて使用して実装されています。

の方法は、miDocFreqが低いときにはまだかなり高価です。