スカラーを使用してspark内の別のデータフレームのwhere節にデータフレームの列値を追加する方法

Question

以下のコードを使用してDataFrameをサポートしています。

val suppId = sqlContext.sql("SELECT supp_id FROM supplier") 

DataFrameは単一または複数の値を返します。

ここで、suppId DataFrameのsupp_idの値を使用してDataFrameを作成します。しかし、これを書く方法を理解していない。

私は以下のコードを書いています。しかし、コードは機能していません。

val nonFinalPE = sqlContext.sql("select * from pmt_expr) 
nonFinalPE.where("supp_id in suppId(supp_id)") 

Answer 1

あなたが何をしようとしているのか分かりませんでした。しかし、あなたもnonFinalPeからの行を必要としているように見えます。あなたは私のコードは次のようである ...それは働いて

val suppId = sqlContext.sql("SELECT supp_id FROM supplier") 
val nonFinalPE = sqlContext.sql("select * from pmt_expr") 

val joinedDF = nonFinalPE.join(suppId, nonFinalPE("???") === suppId("supp_id"), "inner")