2017-04-18 12 views
0

をスキップする(パス文字列)オプションは DataFrameReadercsv:空白行

org.apache.spark.sqlDataFrameReadercsv(path: String) 

は空白行をスキップするオプションを持っていますか?特に、最後の行として空白行ですか?

答えて

1

あなたはのよう"DROPMALFORMED"modeを設定してみてください:

Python
val df = sqlContext.read.format("com.databricks.spark.csv").option("mode", "DROPMALFORMED")... 

df = sqlContext.read.format('com.databricks.spark.csv').options(mode = "DROPMALFORMED")... 

documentationに応じてどちら:

"...drops lines which have fewer or more tokens than expected."

+0

今、私はこのエラーを取得しています: va lue optionsはorg.apache.spark.sql.DataFrameのメンバーではありません –

+1

私は上記のPythonの構文が使用されていると思います。 Scalaの場合は、spark.read.option( "mode"、 "DROPMALFORMED")を使用します。csv(path) –