Apache SparkジョブのDAGを実行しないでどのように取得できますか？

Question

spark-submitを使ってSparkで実行できるいくつかのScalaコードがあります。私が理解したことから、Sparkは操作をスケジュールするためにDAGを作成します。

実際に重い操作を実行せずにこのDAGを取得する方法はありますか？コードを分析するだけですか？

DAGの可視化ではなく、データ構造や少なくとも書面による表現などの有用な表現が必要です。

Answer 1

データフレーム（spark sql）を使用している場合は、df.explain（true）を使用してプランとすべての操作（最適化の前後）を取得できます。

rddを使用している場合は、rdd.toDebugStringを使用して文字列表現を取得し、rdd.dependenciesを使用してツリー自体を取得できます。

実際のアクションなしでこれらを使用すると、実際に重い持ち上げをしなくても何が起こるかを表現できます。