2016-05-06 15 views
0

私はcsvファイルをscalaを通してDataFrameに読み込みました。scala:valueはDataFrameのメンバーではありません

error: value Name is not a member of org.apache.spark.sql.DataFrame 
     val newData = data.filter(data.Name != null) 

が、私はここに何も悪いことをしました:

val data = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("mode", "PERMISSIVE").option("inferSchema", "true").load("s3n://myPath/myData.csv.bz2") 
val newData = data.filter(data.Name != null) 

は、その後、私は以下のエラーを得た:私はフィールド上でフィルタリングを行うことを試みたときに、私は次のエラーを得ましたか。ありがとう!

答えて

0

お試しdata("Name")DataFramesフィールドに名前付きアクセサメソッドが追加されません。

0

あなたはScalaの火花で構文dataframe.fieldnameを使用して列にアクセスすることはできません。この

data.na.drop(Seq("Name")) 

ためDataFrameNaFuctionsを使用することができます。

関連する問題