ハイブ：エスケープ文字やその他の特殊文字も含むパイプ区切りデータの解析

Question

textファイルからHive外部テーブルに以下のデータを解析してロードしようとしています。

例。データ：

"100'082 \"|"ABC~01"|"Mana|ger1 \"|"ABC01@m'a`il.com" 

クエリの下に使用するには：

create external table test3 
(EmpID STRING, 
EmpName STRING, 
Designation STRING, 
Email STRING) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES ('field.delim'='"|"') 
STORED AS TEXTFILE 
location '/home/hdp/samplefiles' 
tblproperties ('skip.header.line.count'='1'); 

データは

| "100'082 \ | ABC~01   | Mana|ger1 \  | ABC01@m"a`il.com" | 

として表にロードされたしかし、私はせずに、この

| 100'082 \ | ABC~01   | Mana|ger1 \  | ABC01@m"a`il.com | 

のようなデータが必要cの開始時に二重引用符olumn1とcolumn4

Answer 1

利用MultiDelimitSerDeの代わりにオープンOpenCsvSerdeの終わりインチ以下のクエリを使用して、それは質問に期待どおりに動作します。

CREATE EXTERNAL TABLE test3 (EmpID STRING, 
EmpName STRING, 
Designation STRING, 
Email STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES('separatorChar' = '|\|"|\||"\|"|"','quoteChar'= '\"','escapeChar'= '\,') 
STORED AS TEXTFILE LOCATION '/home/hdp/samplefiles' 
tblproperties ('skip.header.line.count'='1'); 

選択クエリの結果は次のようになります。

hive> select * from test3; 
OK 
100'082 \  ABC~01 Mana|ger1 \  ABC01@m'a`il.com