SparkでDataFrameのエイリアスを取得する方法

Question

Spark 2.0.2を使用しています。私はそれにエイリアスを持っているDataFrameを持っており、それを取得できるようにしたいと思います。なぜ私がそれを望むのかの簡単な例は以下の通りです。

def check(ds: DataFrame) = { 
    assert(ds.count > 0, s"${df.getAlias} has zero rows!")  
} 

DATAFRAMEは何getAliasは機能を持っていないので、当然の上記のコードは失敗します。これを行う方法はありますか？

Answer 1

あなたはこのような何かを試すことができますが、私はそれがサポートされていると主張し、これまで行くだろう。

• スパーク< 2.1：

  import org.apache.spark.sql.catalyst.plans.logical.SubqueryAlias 
  import org.apache.spark.sql.Dataset 
  
  def getAlias(ds: Dataset[_]) = ds.queryExecution.analyzed match { 
      case SubqueryAlias(alias, _) => Some(alias) 
      case _ => None 
  } 
  

• スパーク2.1+：

  def getAlias(ds: Dataset[_]) = ds.queryExecution.analyzed match { 
      case SubqueryAlias(alias, _, _) => Some(alias) 
      case _ => None 
  } 
  

例使用方法：

val plain = Seq((1, "foo")).toDF 
getAlias(plain) 

Option[String] = None 

val aliased = plain.alias("a dataset") 
getAlias(aliased) 

Option[String] = Some(a dataset)