スカラーを使用してJSONファイルから子タグを選択する方法

Question

Good Day !!

私はjsonファイルから複数の子タグを選択するためにScalaコードを書いていますが、正確な解決策は得られません。コードは、以下のようになります

コード：

val spark = SparkSession.builder.master("local").appName("").config("spark.sql.warehouse.dir", "C:/temp").getOrCreate() 

val df = spark.read.option("header", "true").json("C:/Users/Desktop/data.json").select("type", "city", "id","name") 

println(df.show()) 

Data.json

{"claims":[ 
     { "type":"Part B", 
     "city":"Chennai", 
      "subscriber":[ 
       { "id":11 }, 
       { "name":"Harvey" } 
      ] }, 
     { "type":"Part D", 
     "city":"Bangalore", 
      "subscriber":[ 
       { "id":12 }, 
       { "name":"andrew" } 
     ] } ]} 

期待される結果：

type city   subscriber/0/id  subscriber/1/name 
Part B Chennai   11     Harvey 
Part D Bangalore  12     Andrew 

上記のコードで私を助けてください。

Answer 1

Apache Sparkは、各行が別々のJSONオブジェクトであると誤解していないので、かなり整形されたJSONファイルをロードしようとすると失敗します。

https://spark.apache.org/docs/latest/sql-programming-guide.html#json-datasets http://jsonlines.org/examples/