Spark 2.2不正なパターンコンポーネント：XXX java.lang.IllegalArgumentException：不正なパターンコンポーネント：XXX

Question

Spark 2.1から2.2にアップグレードしようとしています。私は場所（CSVまたはJSON）にデータフレームを読み書きしようとすると、私はこのエラーが発生します：

Illegal pattern component: XXX 
java.lang.IllegalArgumentException: Illegal pattern component: XXX 
at org.apache.commons.lang3.time.FastDatePrinter.parsePattern(FastDatePrinter.java:282) 
at org.apache.commons.lang3.time.FastDatePrinter.init(FastDatePrinter.java:149) 
at org.apache.commons.lang3.time.FastDatePrinter.<init>(FastDatePrinter.java:142) 
at org.apache.commons.lang3.time.FastDateFormat.<init>(FastDateFormat.java:384) 
at org.apache.commons.lang3.time.FastDateFormat.<init>(FastDateFormat.java:369) 
at org.apache.commons.lang3.time.FastDateFormat$1.createInstance(FastDateFormat.java:91) 
at org.apache.commons.lang3.time.FastDateFormat$1.createInstance(FastDateFormat.java:88) 
at org.apache.commons.lang3.time.FormatCache.getInstance(FormatCache.java:82) 
at org.apache.commons.lang3.time.FastDateFormat.getInstance(FastDateFormat.java:165) 
at org.apache.spark.sql.catalyst.json.JSONOptions.<init>(JSONOptions.scala:81) 
at org.apache.spark.sql.catalyst.json.JSONOptions.<init>(JSONOptions.scala:43) 
at org.apache.spark.sql.execution.datasources.json.JsonFileFormat.inferSchema(JsonFileFormat.scala:53) 
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$7.apply(DataSource.scala:177) 
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$7.apply(DataSource.scala:177) 
at scala.Option.orElse(Option.scala:289) 
at org.apache.spark.sql.execution.datasources.DataSource.getOrInferFileFormatSchema(DataSource.scala:176) 
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:366) 
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178) 
at org.apache.spark.sql.DataFrameReader.json(DataFrameReader.scala:333) 
at org.apache.spark.sql.DataFrameReader.json(DataFrameReader.scala:279) 

私はDATEFORMATのデフォルト値を設定しておりませんので、それが来ている場合、私は理解していませんよから。

spark.createDataFrame(objects.map((o) => MyObject(t.source, t.table, o.partition, o.offset, d))) 
    .coalesce(1) 
    .write 
    .mode(SaveMode.Append) 
    .partitionBy("source", "table") 
    .json(path) 

私はまだこれでエラーが発生します。 ルート | - 名前：ここでは

import org.apache.spark.sql.{SaveMode, SparkSession} 
val spark = SparkSession.builder.appName("Spark2.2Test").master("local").getOrCreate() 
import spark.implicits._ 
val agesRows = List(Person("alice", 35), Person("bob", 10), Person("jill", 24)) 
val df = spark.createDataFrame(agesRows).toDF(); 

df.printSchema 
df.show 

df.write.mode(SaveMode.Overwrite).csv("my.csv") 

は、スキーマである文字列（= NULL可能真） | - 年齢：ロング（NULL可能= false）

Answer 1

が答えを見つけました。

timestampFormatのデフォルトはyyyy-MM-dd'T'HH：mm：ss.SSSXXXです。これは不正な引数です。データフレームを書き込むときに設定する必要があります。

解決方法は、タイムゾーンを含むZZに変更することです。

df.write 
.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ") 
.mode(SaveMode.Overwrite) 
.csv("my.csv") 

Answer 2

あなたは私はあなたのコードに何か問題が表示されていないコモンズ-lang3

<dependency> 
    <groupId>org.apache.commons</groupId> 
    <artifactId>commons-lang3</artifactId> 
    <version>3.5</version> 
</dependency>