Spark SQLがUNIONでカラムを選択しています

Question

自分自身でビューをユニオンしていて、作成したエイリアスカラムを選択しようとしました。私は次のエラーを取得しています

val mergedDF = sparkSession.sqlContext.sql(" SELECT COLUMN1 as COLUMN3 FROM MY_VIEW Union SELECT COLUMN2 as COLUMN3 from MY_VIEW") 
 

 
val mergedView = mergedDF.createOrReplaceTempView("MERGED_VIEW") 
 

 
val distinctColumnDF =sparkSession.sqlContext.sql(" SELECT distinct COLUMN3 from MERGED_VIEW WHERE node like '%city%') 
 

 
logger.debug("No.of Distinct City Rows="+distinctColumnDF.count());

：

org.apache.spark.sql.catalyst.parser.ParseException: mismatched input 'from' expecting { <EOF>, 'WHERE' , 'GROUP', 'ORDER', 'HAVING', 'LIMIT', 'LATERAL', 'WINDOW', 'UNION', 'EXCEPT', 'MINUS', 'INTERSECT','SORT','CLUSTER','DISTRIBUTE' }(line 1 , pos 21) 
 

 
== SQL == 
 

 
SELECT distinct COLUMN3 from MERGED_VIEW where node like '%city%' 
 
---------------------^^^^

は、任意の助けに感謝ここで

は私が持っているコードです。

おかげ

Answer 1

あなたは次のようにデータフレームにエイリアスメソッドを使用することができます。以下は動作しているようだ

val dfA = sparkSession.sqlContext.sql("SELECT COLUMN1 FROM MY_VIEW") 
val dfB = sparkSession.sqlContext.sql("SELECT COLUMN2 FROM MY_VIEW")  
val mergedDF = dfA.select(dfA.col("COLUMN1").alias("COLUMN3")).union(dfB.select(dfB.col("COLUMN2").alias("COLUMN3"))) 

val distinctColumnDF = mergedDF.filter(mergedDF.col("COLUMN3").contains("city")).distinct().collect() 

logger.debug("No.of Distinct Rows="+distinctColumnDF.count()); 

Answer 2

。

val dfA = sparkSession.sqlContext.sql("SELECT COLUMN1 FROM MY_VIEW") 
 
val dfB = sparkSession.sqlContext.sql("SELECT COLUMN2 FROM MY_VIEW")  
 
val mergedDF = dfA.select(dfA.col("COLUMN1").alias("COLUMN3")).union(dfB.select(dfB.col("COLUMN2").alias("COLUMN3"))) 
 

 
val str = mergedDF.select(mergedDF.col("COLUMN3")).filter(mergedDF.col("COLUMN3").contains("test")).distinct().count() 
 

 
logger.debug("No.of Distinct Rows="+str);

ない純粋なSQL構文が機能しなかった理由を確認してください。

お便りありがとうございます。