スパーク：どのように結合を使用せずに行をフィルタリングする？

Question

データフレームが2つあるとします。df1とdf2です。 df1とdf2の両方に「id」列が含まれています。私は、結果のDF、df1primeは、DF2で見つかったすべてのID、 のDF1

なしで見られる

• IDのみを有するように、DF1をフィルタリングします

  結合を使用しない。これどうやってするの？ DFの代わりにRDDに戻るのは助けになりますか？ pysparkとscalaの両方の応答が歓迎されます。

  ありがとうございます！

  編集：私はあなたが本当に唯一の（あなたがあなたの質問に述べるよう）あなたのdf1primeにidをしたい場合、あなたは、単に（スカラ）を行うことができますDF1

Answer 1

から行全体を維持したいと思います：

val df1primeIDs = df1.select($"id").except(df2.select($"id")) 

参加ずに、df1の列全体が必要な場合は、私は以外のオプションが表示されない（私の上の行とidが長いタイプであると仮定して）：

val df1prime = df1.where($"id".isin(
    df1primeIDs.collect().map(_.getLong(0)):_*) 
) 

通常のコレクションはオプションではありません...