2つ以上のデータフレームを結合するpyspark

Question

データフレームが100あり、どのようにすべての列を持つ1つのデータフレームに結合することができますか？私のデータフレームは、

id name marks 
00 abc 70 
01 def 67 
02 ghi 68 
03 jkl 90 


id name class 
00 abc A 
01 def B 
02 ghi B 
03 jkl A 


id name std 
00 abc 1 
01 def 2 
02 ghi 3 
03 jkl 4 

id name city 
00 abc mex 
01 def nyc 
02 ghi ind 
03 jkl aus 

のようになっています。したがって、最後の列が毎回変わるように、50個以上のデータフレームがあります。

だから私の質問は、私は以下のようになります。単一得られたデータフレーム、

id name marks class std city 
00 abc 70  A  1 mex 
01 def  67  B  2 nyc 
02 ghi  68  B  3 la 
03 jkl  90  A  4 aus 

Answer 1

を作ることができますが、ネストされたスパークSQLクエリを使用してそれらのカップルに参加することができるかである、しかし、それは50に参加するために多くの時間がかかりますそのうちの。