スパークデータフレーム/ハイブ結果セットをソート

Question

私はハイブテーブルから列のリストを取得し、その結果をスパークデータフレームに格納しようとしています。

var my_column_list = hiveContext.sql(s""" SHOW COLUMNS IN $my_hive_table""") 

しかし、アルファベット順に並べ替えることはできません。データフレーム、または表示列クエリの結果。 sortとorderBy（）を使ってみました。

結果をアルファベット順にソートするにはどうすればよいですか？

更新：は、私のコード

import org.apache.spark.{ SparkConf, SparkContext } 
import org.apache.spark.sql.DataFrame 
import org.apache.spark.sql.hive.HiveContext 

val hiveContext = new HiveContext(sc) 
hiveContext.sql("USE my_test_db") 

var lv_column_list = hiveContext.sql(s""" SHOW COLUMNS IN MYTABLE""") 
//WARN LazyStruct: Extra bytes detected at the end of the row! Ignoring similar problems 

lv_column_list.show //Works fine 
lv_column_list.orderBy("result").show //Error arises 

Answer 1

代わりに「SHOW COLUMNSの」が、私は「DESC」を使用し、「COL_NAME」で列リストを取得しました。

var lv_column_list = hiveContext.sql(s""" DESC MYTABLE""") 
lv_column_list.select("col_name").orderBy("col_name") 

Answer 2

ないソートやORDERBYメソッドを使用しているかどうかはわかりのサンプルを追加しました

は、以下のことを試してみてください、

df.sort(asc("column_name"))  
df.orderBy(asc("column_name")) 

Answer 3

SHOW COLUMNSクエリは、resultという列のDataframeを生成します。あなたは、このコラムでご注文いただいた場合、あなたが望む結果を得る：

val df = hiveContext.sql(s""" SHOW COLUMNS IN $my_hive_table """) 
df.orderBy("result").show