ハイブテーブル内のデータの配列を別々の行にインポートするにはどうすればよいですか？

Question

私は、このような複数のファイルを持っていると私はそれぞれ{}テーブル内の1つの列を形成するようにしたいハイブテーブルに

[ 
    { 
     "identifier" : "id#1", 
     "dataA" : "dataA#1" 
    }, 
    { 
     "identifier" : "id#2", 
     "dataA" : "dataA#2" 
    } 
] 

を次の形式でデータをインポートしようとしています。これは私が試したものです：

CREATE EXTERNAL TABLE final_table(
    identifier STRING, 
    dataA STRING 
) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' 
LOCATION "s3://bucket/path_in_bucket/" 

これは{}ごとに1つの行を作成していません。私も試したことがあります

CREATE EXTERNAL TABLE final_table(
    rows ARRAY< STRUCT< 
    identifier: STRING, 
    dataA: STRING 
    >> 
) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' 
LOCATION "s3://bucket/path_in_bucket/" 

しかし、これはどちらでもありません。各レコードがハイブクエリの配列内の項目である配列としての入力を指定する方法はありますか？何をすべきかに関する提案はありますか？

Answer 1

データファイル内のJSONレコードは、1行に1つずつ表示する必要があります。空の行はNULLレコードを生成します。

このJSONは動作するはず

{ "識別子"： "ID＃1"、 "DATAA"： "DATAA＃1"}、 { "識別子"： "ID＃2"、 "DATAA"： "DATAA＃2"}ここで

Answer 2

は何が必要です

方法1：配列に名前を追加する

データ

{"data":[{"identifier" : "id#1","dataA" : "dataA#1"},{"identifier" : "id#2","dataA" : "dataA#2"}]} 

SQL

SET hive.support.sql11.reserved.keywords=false; 

CREATE EXTERNAL TABLE IF NOT EXISTS ramesh_test (
    data array< 
    struct< 
     identifier:STRING, 
     dataA:STRING 
    > 
    > 
) 
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' 
LOCATION 'my_location'; 

SELECT rows.identifier, 
     rows.dataA 
    FROM ramesh_test d 
LATERAL VIEW EXPLODE(d.data) d1 AS rows ; 

出力

方法2 - データへの変更なし

データ

[{"identifier":"id#1","dataA":"dataA#1"},{"identifier":"id#2","dataA":"dataA#2"}] 

SQL

CREATE EXTERNAL TABLE IF NOT EXISTS ramesh_raw_json (
    json STRING 
) 
LOCATION 'my_location'; 

SELECT get_json_object (exp.json_object, '$.identifier') AS Identifier, 
     get_json_object (exp.json_object, '$.dataA') AS Identifier 
    FROM (SELECT json_object 
      FROM ramesh_raw_json a 
      LATERAL VIEW EXPLODE (split(regexp_replace(regexp_replace(a.json,'\\}\\,\\{','\\}\\;\\{'),'\\[|\\]',''), '\\;')) json_exploded AS json_object) exp; 

出力は