各スパークパーティションの最大のキーを取得するには？

Question

.reduce(max)を使用すると、RDD全体で最大の鍵が得られます。私はこの削減がすべてのパーティションで動作し、各パーティションによって送信されたアイテムを減らすことを知っています。しかし、どのようにして各パーティションの最大の鍵を取り戻すことができますか？ .mapPartitions()の関数を記述しますか？

Answer 1

次のことが可能です。

rdd.mapParitions(iter => Iterator(iter.reduce(Math.max))) 

または

rdd.mapPartitions(lambda iter: [max(iter)]) 

DStream.trasformでこれを使用してストリーミングで。