スパーク：エグゼキュータの一意のID

Question

スパークのAccumulatorを使用すると、ある種の「ユニークID」を生成する方法でエグゼキュータ間で読み取ることができる一意のIDを生成できますか？ドキュメントからは、ドライバからのみアクセスできることがわかります。場合は、代替パスがありますか？

Answer 1

は、それは

ことはできませんユニークなID

を生成するために、スパークにアキュムレータを使用して、それが可能な任意の代替パスはありますか？ RDDため

• zipWithIndexかzipWithUniqueId。
• withColumn("id", monotonically_increasing_id())Dataset[Row]/DataFrameです。