0
をスキップする(パス文字列)オプションは DataFrameReadercsv:空白行
org.apache.spark.sqlDataFrameReadercsv(path: String)
は空白行をスキップするオプションを持っていますか?特に、最後の行として空白行ですか?
をスキップする(パス文字列)オプションは DataFrameReadercsv:空白行
org.apache.spark.sqlDataFrameReadercsv(path: String)
は空白行をスキップするオプションを持っていますか?特に、最後の行として空白行ですか?
あなたはのよう"DROPMALFORMED"
にmode
を設定してみてください:
Python
で
val df = sqlContext.read.format("com.databricks.spark.csv").option("mode", "DROPMALFORMED")...
:
df = sqlContext.read.format('com.databricks.spark.csv').options(mode = "DROPMALFORMED")...
documentationに応じてどちら:
"...drops lines which have fewer or more tokens than expected."
今、私はこのエラーを取得しています: va lue optionsはorg.apache.spark.sql.DataFrameのメンバーではありません –
私は上記のPythonの構文が使用されていると思います。 Scalaの場合は、spark.read.option( "mode"、 "DROPMALFORMED")を使用します。csv(path) –