Apache Sparkの `count（）`によって返される値には制限がありますか

Question

PySpark API .count()が返す値には限界がありますか？

たとえば、Cは非常に大きなRDDであるとします。以下のpysparkコードスニペットです：

t = C.count() 

どのような状況下でtの値が無効または未定義のでしょうか？ code自体から

Answer 1

：

def count(): Long = sc.runJob(this, Utils.getIteratorSize _).sum

あなたが見ることができるよう、トンのためのリターンを数えるLongので、最大サイズは64 bit signed value = -9223372036854775808 to 9223372036854775807 i.e. (-2^63 to 2^63-1, inclusive)または他の言葉でカウントしているLongの定義によって制限されますが上がることができます2^64 = 18,446,744,073,709,551,616になる。