pysparkからRDD依存関係を取得する方法は？

Question

PySparkからRDDの依存関係を取得するにはどうすればよいですか？私はPySpark RDD classで同等の方法を見ることができなかった

public final scala.collection.Seq<Dependency<?>> dependencies() 

：

Scalaはdependencies()方法があります。 PySparkのRDD依存関係を取得できる他の方法はありますか？

私はtoDebugStringメソッドを見てきました。しかし、これは実際にはインタラクティブスパークセッションにのみ適しています。

Answer 1

pyspark apiに必要な情報があります。 toDebugString()あなたが

toDebugString（自己）
このRDDの記述とデバッグのための再帰的な依存関係を探している方法です。