rdd.collect（）。toMapとrdd.collectAsMap（）の違いは？

Question

rdd.collect（）の代わりにRDBでcollectAsMapを使用すると、パフォーマンスに何か影響はありますか？toMap？

キー値がrddで、ドライバで実行されているので、大きなデータセットでcollect（）が効率的でないことがわかっている限り、HashMapに変換したいのですが、代わりにパフォーマンスが影響しますか？

オリジナル：

val QuoteHashMap=QuoteRDD.collect().toMap 
val QuoteRDDData=QuoteHashMap.values.toSeq 
val QuoteRDDSet=sc.parallelize(QuoteRDDData.map(x => x.toString.replace("(","").replace(")",""))) 
QuoteRDDSet.saveAsTextFile(Quotepath) 

変更：理由collectAsMap

val QuoteHashMap=QuoteRDD.collectAsMap() 
val QuoteRDDData=QuoteHashMap.values.toSeq 
val QuoteRDDSet=sc.parallelize(QuoteRDDData.map(x => x.toString.replace("(","").replace(")",""))) 
QuoteRDDSet.saveAsTextFile(Quotepath) 

Answer 1

collectAsMapの実装は、以下の

def collectAsMap(): Map[K, V] = self.withScope { 
    val data = self.collect() 
    val map = new mutable.HashMap[K, V] 
    map.sizeHint(data.length) 
    data.foreach { pair => map.put(pair._1, pair._2) } 
    map 
    } 

である。したがって、collectとcollectAsMapの間には、性能差は、ありませんコールundeフードもcollectです。

Answer 2

違いはありません。できるだけ多くの場合、collect（）を使用しないでください。並列性の概念が破壊され、ドライバ上のデータが収集されるためです。