AggregateByKeyパーティショニング？

Question

私が持っている：

A_RDD = anRDD.map() 

B_RDD = A_RDD.aggregateByKey() 

さてさて、私の質問は：私が好きA_RDD後partitionBy（新しいHashPartitioner）を入れた場合

は：

A_RDD = anRDD.map().partitionBy(new HashPartitioner(2)) 

B_RDD = A_RDD.aggregateByKey() 

1）は、これが同じ効率的になります私がそれをそのまま残しておけば、最初は？ aggregateByKey（）はA_RDDのhashPartitionerを使用します。

2）または私は最初の例のようにそれを残す場合、aggregateByKey（）は最初のキーによってすべてのパーティションを集約し、その後に、より効率的な方法で毎「集約」（キー、値）ペアを送信します右のパーティション？

3）RDD上のmap、flatMap、およびその他の変換で、（キー、値）のペアをどうやって分割するのか議論ができないのはなぜですか？ 例えば、すべてのタプルのmap（）操作中に、=>を使って、このタプルをマップe.x：map（パーティション）でパーティション化された特定のパーティション に送ることができます。

私はaggregateByKey（）のコンセプトを把握しようとしていますが、これがどのように機能するのかを知るたびに、新しい質問が発生します... ありがとうございます。

Answer 1

• あなたがaggregateByKey前partitionByを置く場合、それは通常、単独のaggregateByKeyよりも効率になります。マップ側の組み合わせを効果的に無効にします。
• あなたがそこから離れるとマップ側の組み合わせがあり、通常はより効率的です。
• データの移動がないため、シャッフル操作ではパーティショニングは行われません。操作は各マシンでローカルに実行されます。