スパークCSV Readerは、私は現在、次のコードを使用してCSVデータに読んでい数値

Question

を引用しました次のような行を持つ別のファイルもあります。

"abc","city",123 

2番目のファイルはうまくいきますjava.lang.NumberFormatException: For input string: "123"

で

string, string, long 

最初の結果は、それが適切に両方の有効なフォーマットのCSVを読み込むためのCSVリーダーのために可能ですか？オプションが渡されたと仮定します。

私は自動的に列のデータ・タイプを識別しinferSchemaプロパティを使用してスパーク2.1.1

Answer 1

実際にコードを使用すると、私のためにクラッシュします。私はの代わりに文字列を使用していると思われます。です。 '"'.toStringを.option("quote",...)に使用すると、クラッシュが修正され、機能します。さらに、次のコードのようにエスケープ文字を定義することもできます。 （ユニットテストから）解析された数値の

spark.read 
      .option("mode", "FAILFAST") 
      .option("escape", "\"") 
      .option("delimiter", DELIMITER) 
      .option("header", HASHEADER.toString) 
      .option("quote", "\"") 
      .option("nullValue", null) 
      .option("ignoreLeadingWhiteSpace", value = true) 
      .schema(SCHEMA) 
      .csv(PATH) 

例：

ClouderaののSpark2で

、Iは、予め定義されたスキーマを用いて、DecimalTypeの両方引用と引用符で囲まれていない番号を解析するために以下を使用することができました

1.0 
11 
"15.23" 
"" 
//empty field 
"0.0000000001" 
1111111111111. 
000000000. //with leading space 

これは私のテストでもIntegerTypeで動作します。これは引用符に関係なく解析できます。

Answer 2

を使用しています。

var data= sparkSession.read 
     .option("header", hasColumnHeader) 
     .option("inferSchema", "true").csv(inputPath);