異なるスキーマを持つ別のデータフレームにデータフレームを挿入するにはどうすればよいですか？

Question

データフレームAとBが異なるスキーマを持っているため、AからBへ行を挿入したい。

環境はSpark 1.6なので、2つのデータフレームに同じ列がある場合はunionAll関数を使用できます。

のスキーマ：

B用

root 
    |--a 
    |--b 

スキーマ：

root 
    |--a 
    |--b 
    |--c 
    |--d 
    | |--d_1 
    | |--d_2 
    | |--d_3 

私はdatafrane Bに列 "A" と "B" を挿入し、他の列を空白のままにする必要があります。とB列ペアを想定し

Answer 1

は、あなたがデータフレームを外部結合することができますユニークです。

B.join(A, usingColumns = Seq("a", "b"), "outer") 

そうでない場合は、一意の列を追加することができ、その後、私は "B.join（A、B（" A」）のようなもの=== Aを（試してみました

import org.apache.spark.sql.functions._ 

B.withColumn("id", lit(2)).join(A.withColumn("id", lit(1)), usingColumns = Seq("id"), "outer")