2017-03-23 4 views
0

からコルXをフィルタリングし、私は以下のようにScalaのオブジェクトを持っている - 今Scalaは - ベクトル

scala> f1.getClass 
res20: Class[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame 

scala> f1.printSchema 
root 
|-- features: vector (nullable = true) 

scala> f1.take(1) 
res23: Array[org.apache.spark.sql.Row] = Array([[264960.0,0.17798793528582932,0.0,3.0,44625.0,3.0,3.0,1.0,0.0,1.4046526E10,0.0,0.0,0.0,0.0,0.0,0.0,0.0,4.2139578E10,0.0]]) 

、私のベクトルで、1列 - コル8は、値の無限大を持っており、私はこれらの行をフィルタリングします。どのようにベクトルの配列で作業するか考えています。私はベクトルをDFに変換しようとしましたが、それは助けになりませんでした。

答えて

1

あなたの条件をフィルタリングする必要があります:f1.filterNot(v => v(7).isInfinite())(7はCol列挙が1から始まると仮定しています)。