マップ関数から生成された可変数のDataFramesをスパーク（scala）でマージする

Question

こんにちは、おかげさまで多くのご協力をいただきました。

私は2つのDataFrame（dfMainとdf）Stringタイプ（"col1", "col2", "col3"）の3列の両方を有します。私は、dfの各行（r）に関数をマップする必要があり、いくつかの基準に基づいて、dfMainにある要素を選択して選択し、サンプリングします。最終結果は統合されたDataFrame（つまりDataset[Row]）として返されます。私のバグの不完全な（スカラ）ソリューションは以下の通りです。 mapの基準がより複雑になる可能性があるので、より包括的であり、map（すなわち、生成されたDataFrames）の結果をマージするためのマージを可能にする解決策を理解するであろう。

case class record(col1: String, col2:String, col3:String) 

def myFun(df: DataFrame) : DataFrame = { 
    df.as[record].map{ 
    r => dfMain.filter($"col1" !== r.col1 && 
         $"col2" === r.col2 && 
         $"col3" === r.col3) 
       .sample(false,0.2) 
    } 
} 

Answer 1

あなたは今、あなたはそのcol1ないdfMainからfilter inrowsしようとしている、質問にあなたのコードで

dfMain 
+----+----+----+ 
|col1|col2|col3| 
+----+----+----+ 
|a1 |b1 |c1 | 
|a |b2 |c3 | 
|a |b3 |c4 | 
+----+----+----+ 

と

​​

として2 dataframes探しているとしましょうdf col1に等しく、残りの2つの列は等しい、すなわち.filter($"col1" !== r.col1 && $"col2" === r.col2 && $"col3" === r.col3)である。ケースのthatsなら、あなたはjoinあなたがdfMainのだけcolumnsをしたい場合は今、あなたはどのべき

dfMain.as("main").join(df.as("table"), $"main.col1" =!= $"table.col1" && $"main.col2" === $"table.col2" && $"main.col3" === $"table.col3", "inner") 
    .select($"main.col1", $"main.col2",$"main.col3") 

を行う必要があり、あなたに

+----+----+----+----+----+----+ 
|col1|col2|col3|col1|col2|col3| 
+----+----+----+----+----+----+ 
|a1 |b1 |c1 |a |b1 |c1 | 
+----+----+----+----+----+----+ 

を与える必要があります

dfMain.as("main").join(df.as("table"), $"main.col1" =!= $"table.col1" && $"main.col2" === $"table.col2" && $"main.col3" === $"table.col3", "inner") 

で行く必要がありますbe

+----+----+----+ 
|col1|col2|col3| 
+----+----+----+ 
|a1 |b1 |c1 | 
+----+----+----+ 

そして、あなたが唯一のdfのcolumnsたい場合は、

+----+----+----+ 
|col1|col2|col3| 
+----+----+----+ 
|a |b1 |c1 | 
+----+----+----+ 

としてデータフレームを生成する必要がありますそれとも、両方dataframejoinedの混合出力を持つことができます

dfMain.as("main").join(df.as("table"), $"main.col1" =!= $"table.col1" && $"main.col2" === $"table.col2" && $"main.col3" === $"table.col3", "inner") 
    .select($"table.col1", $"table.col2",$"table.col3") 

を行う必要があります。