2016-05-23 10 views
2

RDDのスキーマを取得して変数に格納することは可能ですか?同じスキーマを使用して別のRDDから新しいデータフレームを作成したいからです。例えば、以下の私が持っている期待していますされているもの:Spark Scala:スキーマを取得して格納する

val schema = oldDF.getSchema() 
val newDF = sqlContext.createDataFrame(rowRDD, schema) 

は、私はすでにRDD[org.apache.spark.sql.Row]の形式でrowRDDを持っていると仮定すると、この何かは可能ですか?

答えて

5

ちょうど使用schema属性

val oldDF = sqlContext.createDataFrame(sc.parallelize(Seq(("a", 1)))) 
val rowRDD = sc.parallelize(Seq(Row("b", 2)) 

sqlContext.createDataFrame(rowRDD, oldDF.schema) 
関連する問題