各pyspark RDDパーティションの要素の数をカウント

Question

私はこの質問に相当するPysparkを探しています：How to get the number of elements in partition?。

具体的には、Pyspark RDDまたはデータフレームの各パーティションの要素数をプログラムでカウントしたいと思います（この情報はSpark Web UIで利用できます）。

「はAttributeError： 『NoneType』オブジェクトが属性 『_jvm』を持っていない」：この試行結果

df.foreachPartition(lambda iter: sum(1 for _ in iter))

私はメモリにイテレータの内容を収集する必要はありません。

Answer 1

質問している場合：イテレータを反復処理せずにイテレータの要素数を取得できますか？答えはNoです。

しかし、我々はあなたが言及した記事のように、メモリ内に格納する必要はありません：あなたのコードだけでは、解決に非常に近い

def count_in_a_partition(idx, iterator): 
    count = 0 
    for _ in iterator: 
    count += 1 
    return idx, count 

data = sc.parallelize([ 
    1, 2, 3, 4 
], 4) 

data.mapPartitionsWithIndex(count_in_a_partition).collect() 

EDIT

注意をmapPartitionsはイテレータを返す必要があります。

def count_in_a_partition(iterator): 
    yield sum(1 for _ in iterator) 

data.mapPartitions(count_in_a_partition).collect()