Spark - JSONエスケープされたStringフィールドをDataFramesのJSONオブジェクトとして解析する方法

Question

私は、1行に1つのJSONオブジェクトとしてフォーマットされた一連のファイルを入力として持っています。しかし、問題は、これらのJSONオブジェクトの1つのフィールドがJSONエスケープ文字列であることです。私たちは「escapedJsonPayloadは」文字列であると私はそれが構造体である必要が見ることができるように例

私はJSONファイルを読み込むことで、データフレームを作成すると

{"clientAttributes":{"backfillId":null,"clientPrimaryKey":"abc"},"escapedJsonPayload":"{\"name\":\"Akash\",\"surname\":\"Patel\",\"items\":[{\"itemId\":\"abc\",\"itemName\":\"xyz\"}"} 

は、それが

val df = spark.sqlContext.read.json("file:///home/akaspate/sample.json") 
df: org.apache.spark.sql.DataFrame = [clientAttributes: struct<backfillId: string, clientPrimaryKey: string>, escapedJsonPayload: string] 

以下のようにデータフレームを作成しています。

注：私はStackOverflowの中で同様の質問を持って、それに続く（How to let Spark parse a JSON-escaped String field as a JSON Object to infer the proper structure in DataFrames?）が、それは私を与えている "[_corrupt_record：文字列]" 私は以下試してみました

が

1. val df = spark.sqlContext.read.json("file:///home/akaspate/sample.json") (Work file)

ステップ

2. val escapedJsons: RDD[String] = sc.parallelize(Seq("""df"""))

3. val unescapedJsons: RDD[String] = escapedJsons.map(_.replace("\"{", "{").replace("\"}", "}").replace("\\\"", "\""))

4. val dfJsons: DataFrame = spark.sqlContext.read.json(unescapedJsons) (This results in [_corrupt_record: string])

すべてのヘルプは、あなたが提供しているすべてのJSONの

Answer 1

まず、間違ったフォーマット（構文的に）であるいただければ幸いです。次のように修正JSONは次のとおりです。コードの上

val rdd = spark.read.textFile("file:///home/akaspate/sample.json").toJSON.map(value => value.replace("\\", "").replace("{\"value\":\"", "").replace("}\"}", "}")).rdd 

val df = spark.read.json(rdd) 

出力、次のあなたを与える：

を

{"clientAttributes":{"backfillId":null,"clientPrimaryKey":"abc"},"escapedJsonPayload":{\"name\":\"Akash\",\"surname\":\"Patel\",\"items\":[{\"itemId\":\"abc\",\"itemName\":\"xyz\"}]}} 

次に、上記のJSONから正しくJSONをパースするには、次のコードを使用する必要があります次のスキーマで

df.show(false) 

+----------------+-------------------------------------+ 
|clientAttributes|escapedJsonPayload     | 
+----------------+-------------------------------------+ 
|[null,abc]  |[WrappedArray([abc,xyz]),Akash,Patel]| 
+----------------+-------------------------------------+ 

：

df.printSchema 

root 
|-- clientAttributes: struct (nullable = true) 
| |-- backfillId: string (nullable = true) 
| |-- clientPrimaryKey: string (nullable = true) 
|-- escapedJsonPayload: struct (nullable = true) 
| |-- items: array (nullable = true) 
| | |-- element: struct (containsNull = true) 
| | | |-- itemId: string (nullable = true) 
| | | |-- itemName: string (nullable = true) 
| |-- name: string (nullable = true) 
| |-- surname: string (nullable = true) 

私はこれが助けてくれることを願っています！