スパークはUnionAllを並行して実行しますか？

Question

私は1つのDataFrameに結合したいのと同じスキーマで10 DataFrameを取得しました。それぞれDataFrameはsqlContext.sql("select ... from ...").cahceを使用して作成されます。つまり、技術的にはDataFrameは実際に使用するまで計算されません。

私は実行するのであれば、：

val df_final = df1.unionAll(df2).unionAll(df3).unionAll(df4) ... 

は（原因ドット演算子に）パラレルまたは1つずつで、これらすべてのDataFrame Sを計算スパークのだろうか？

DataFrameの上にunionAllを先ほど作成したよりエレガントな方法がありますか？

Answer 1

unionAllは、lazyである。あなたの質問の例の行は、同期または非同期の計算をトリガーしません。

一般に、スパークは分散計算システムです。各操作自体は、並行して処理される一連のタスクで構成されています。したがって、一般に、2つの操作を並行して実行するかどうかについて心配する必要はありません。クラスタリソースは、とにかくうまく利用されます。