2016-10-31 13 views
1

私は可変長で非常に大きなテキストファイルを持って、最初の5番目と最後の列は可変長DataFrameのケースクラスをスカラーで定義する方法は?

ケースクラスをモデル化する方法を
chr1 1 0.42235 0.01501 10001 110000 
chr1 2 0.41104 0.01254 60001 160000 
chr1 3 0.42826 0.00282 110001 177417 227418 260000 
chr1 4 0.4151 0.00288 160001 177417 227418 267719 317720 360000 
chr1 5 0.39534 0.00166 260001 267719 317720 410000 
scala> sc.version 
res0: String = 2.0.1 


scala> case class Chrom(name: String, value: Long, value: Long ????) 

rdd.txt RDDアクション

$猫を行うに興味のあります最初、5番目と最後の列にアクセスするには?

答えて

1

試行:

case class Chrom(name: String, value: Long *) 

それは配列を有するだけ糖衣構文である(配列)カラム:

Seq(Chrom("a", 1, 2, 3)).toDF.as[Chrom] 
関連する問題