spark cantは左外部結合を使用してデータフレームを結合します

Question

df1.portfolioの名前に基づいて2つのデータフレームをdf2.portIdに結合しようとしています 結果のデータフレーム私は同じキーを繰り返すことは望ましくありません。

は、ここでは、これまで

val df = spark.read.json("C:\\json\\portmast") 
val pgetsec = spark.read.json("C:\\json\\pgetsec") 


val portfolio_master = df.select("PortfolioCode","Legal Entity Name","Asofdate") 
val pgetsecs= pgetsec.select("TransId", "SecId","portId","GaapCurBkBal","ParBal","SetlDt","SetlPric","OrgBkBal","TradeDt","StatCurBkBal","NaicRtg","SecurityTypeCode","CamraSecType","FundType","CountryIso") 
val pg = portfolio_master.join(pgetsec,Seq("PortfolioCode","portId"),"left_outer") 

私は取得していますエラーが
Exception in thread "main" org.apache.spark.sql.AnalysisException: using columns ['PortfolioCode,'portId] can not be resolved given input columns: 最終JSONはすべてのヘルプは高く評価され、この

|-- Portfolio Code: string (nullable = true) 
|-- Legal Entity Name: string (nullable = true) 
|-- Asofdate: string (nullable = true) 

((SI, S&P 500 Index,9/30/2016),[0.0,Equity,Common Stock]) 
((SI, S&P 500 Index,9/30/2016),[0.0,Equity,Common Stock]) 
((SI, S&P 500 Index,9/30/2016),[0.0,Equity,Common Stock]) 
[SI1, S&P 500 Index,9/30/2016,CompactBuffer([0.0,Equity,Common  Stock], [0.0,Equity,Common Stock], [0.0,Equity,Common Stock])] 
root 
|-- Portfolio Code: string (nullable = true) 
|-- Legal Entity Name: string (nullable = true) 
|-- Asofdate: string (nullable = true) 
|-- Security: array (nullable = true) 
| |-- element: struct (containsNull = true) 
| | |-- BondPrice: double (nullable = true) 
| | |-- CoreSectorLevel1Code: string (nullable = true) 
| | |-- CoreSectorLevel2Code: string (nullable = true) 

+--------------+-------------------+---------+--------------------+ 
|Portfolio Code| Legal Entity Name| Asofdate|   Security| 
+--------------+-------------------+---------+--------------------+ 
|   SI | S&P 500 Index  |9/30/2016|[[0.0,Equity,Comm...| 
+--------------+-------------------+---------+--------------------+ 

ようになっているはずである私のコードです。

Answer 1

portIdportfolio_masterにはありません。PortfolioCodeは、pgetsecには存在しません。完全なエラーメッセージを再度読んだら、利用可能な列も表示されるので、これを説明しています。

あなたの参加条件はportfolio_master("PortfolioCode") === pgetsec("portId")です。