どのように我々はここで2つのデータフレームを持って

Question

スカラ座で異なる2つのデータフレームやプリント列を比較します

予想されるデータフレーム：

+------+---------+--------+----------+-------+--------+ 
|emp_id| emp_city|emp_name| emp_phone|emp_sal|emp_site| 
+------+---------+--------+----------+-------+--------+ 
|  3| Chennai| rahman|9848022330| 45000|SanRamon| 
|  1|Hyderabad|  ram|9848022338| 50000|  SF| 
|  2|Hyderabad| robin|9848022339| 40000|  LA| 
|  4| sanjose| romin|9848022331| 45123|SanRamon| 
+------+---------+--------+----------+-------+--------+ 

と実際のデータフレーム：

+------+---------+--------+----------+-------+--------+ 
|emp_id| emp_city|emp_name| emp_phone|emp_sal|emp_site| 
+------+---------+--------+----------+-------+--------+ 
|  3| Chennai| rahman|9848022330| 45000|SanRamon| 
|  1|Hyderabad|  ram|9848022338| 50000|  SF| 
|  2|Hyderabad| robin|9848022339| 40000|  LA| 
|  4| sanjose| romino|9848022331| 45123|SanRamon| 
+------+---------+--------+----------+-------+--------+ 

2つのデータフレームの違いは次のとおりです。

+------+--------+--------+----------+-------+--------+ 
|emp_id|emp_city|emp_name| emp_phone|emp_sal|emp_site| 
+------+--------+--------+----------+-------+--------+ 
|  4| sanjose| romino|9848022331| 45123|SanRamon| 
+------+--------+--------+----------+-------+--------+ 

except関数df1.except（df2）を使用していますが、この問題は、異なる行全体を返します。私たちが望むのは、その列内でどの列が異なるかを見ることです（この場合、 "romin"と "emp_name"の "romino"は異なります）。私たちはそれに多大な困難を抱いており、どんな助けも素晴らしいでしょう。

Answer 1

上記の質問に記載されているシナリオからは、列と行の間に違いがあるように見えます。

このようにするには、ここで選択的な違いを適用する必要があります。この違いは、異なる値を持つ列とその値を提供します。

1. まず私たちは期待と実際のデータフレームの列を見つける必要がある：

   は今、選択的な違いを適用するために、我々はこのようなコードに何かを記述する必要があります。

   ヴァル列= df1.schema.fields.map（_。名前）

2. はその後、我々は差列方向を見つける必要があります。

   ヴァルselectiveDifferences = columns.map（COL => df1.select（COL）.except（df2.select（COL）））最後に

3. 我々は含まれている列を見つける必要があり異なる値。

   selectiveDifferences.map（差分=> {IF（diff.count> 0）diff.show}）

そして、我々は、異なる値を含む列のみを取得します。このように：

+--------+ 
|emp_name| 
+--------+ 
| romino| 
+--------+ 

私はこれが役立ちます。