0
は、私はこのようなスパーク1.6.1を起動します。スパーク読み取りCSVファイルにClassCastException
./pyspark --master local[4] --packages com.databricks:spark-csv_2.10:1.0.3
は、私はこのようなエラーなしでCSVファイルを読み込むことができます。
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('/home/SparkTest.csv')
が、私は見しようとすると、このようなデータ：
df.head()
私はこのようなエラーが出る：
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 5,2012-01-01,53,Lucky Charms. java.lang.ClassCastException
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 6,2012-02-01,14,Cap'n Crunch. java.lang.ClassCastException
スキーマの推論を削除できませんか？ – eliasah
'SparkTest.csv'ファイルの内容は何ですか？ –
スキーマの推論オプションを削除しましたが、エラーは同じです。 csvファイルの行は、DFLR200,2009-11-02,1000、R100（文字列、日付、数値、文字列）のようになります。 – skunkwerk