sparkのテキストファイルをorcに保存する方法

Question

spark-shellを使ってテキストファイルをorcに保存しようとしていますか？

vall data =sc.textFile("/yyy/yyy/yyy") 
data.saveAsOrcFile("/yyy/yyy/yyy") 

Answer 1

RDDをDataFrameに変換して保存することができます。

data.toDF().write.format("orc").save("/path/to/save/file") 

、戻ってそれを読んsqlContext

import org.apache.spark.sql._ 
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 

val data = sqlContext.read.format("orc").load("/path/to/file/*") 

を使用するには