Spark DataFrameの `except（）`は、毎回異なるアイテムを削除します

Question

var df = List(1,2,3,4,5,6,7,8,9,10,11).toDF("num") 
df.show() 
var df2 = df.limit(3) 
df2.show() 
var df3 = df.except(df2) 
df3.show() 

驚くべきことに、私はそれ以外の方法がそれを行うべきではないことを発見しました。ここに私の出力です： df2：正しく作成され、1,2,3が含まれています。しかし、私のdf3はまだそれに1,2、および/または3を持っています。それは一種のものです。私が複数回それを実行すると、私は別の結果を得る。誰でも助けてくれますか？前もって感謝します。

Answer 1

「例外」操作を実行する前に「df2」に必要なデータを収集するためにスパーク「アクション」を入れる必要があります。これにより、データフレームdf2が手前で計算され、 dfから差し引かれます。

ランダムなのは、スパーク遅延評価とスパークがすべてのコードを1つのステージに入れているからです。また、「df2」の内容は、「例外」操作を実行したときに修正されません。制限のためのスパーク関数の定義に従って：

最初のn行を取って新しいデータセットを返します。この関数 とheadの違いは、headがアクションであり、クエリの実行をトリガーすることによって配列を返します。 limitは新しいデータセットを返します。 、それはDATSETを返す

いるので、遅延評価されるコードの下

はあなたに一貫性のある出力が得られます。これをテストする

var df = List(1,2,3,4,5,6,7,8,9,10,11).toDF("num") 
df.show() 
var df2 = df.head(3).map(f => f.mkString).toList.toDF("num") 
df2.show() 
var df3 = df.except(df2) 
df3.show() 

Answer 2

ベストな方法は、ちょうどあなたがdiffをしたい値を持つ新しいDFを作成することです。

val df = List(1,2,3,4,5,6,7,8,9,10,11).toDF("num") 
df.show() 
val df2 = List(1,2,3).toDF("num") 
df2.show() 
val df3 = df.except(df2) 
df3.show() 

また、ちょうどあなたがしたい行を選択し、決定論的フィルタを書く：

val df = List(1,2,3,4,5,6,7,8,9,10,11).toDF("num") 
df.show() 
val df2 = df.filter("num <= 3") 
df2.show() 
val df3 = df.except(df2) 
df3.show()