ハイブ2.1が正しく評価されないNULLマップ

Question

ハイブ2.1のNULLマップをチェックするための回避策を探しています。マップの中のキーをチェックしているとき、正しい結果が得られます。ここで私は評価しても結果しようとしているものです：

hive> select request_params, request_params is null, request_params['id'], request_params['id'] is null from dcs_log_pday_s3 where pday='2016-11-24' and hour='00' and pid=1124 limit 10; 
OK 
{"id":"EAED7055-7003-4A11-8494-CF1079EF24","et%3Aivs%7Cdata%3Ad":"1966"} false EAED7055-7003-4A11-8494-CF1079EF24 false 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
NULL false NULL true 
{"id":"97EBD924-C45C-4A93-AAEF-57595005","et%3Aibs%7Cdata%3Ad":"1966"} false 97EBD924-C45C-4A93-AAEF-57595005 false 
Time taken: 0.095 seconds, Fetched: 10 row(s) 

しかし、私はハイブの古いバージョン（例えばハイブ1.1上）に同じ問題を持っていない：

hive> select request_params, request_params is null from dcs_log_pday_s3 where 
pday='2016-11-24' and hour='00' and pid=1124 limit 10; 
Query ID = keystone_20161126000606_0a8caadd-ec27-4a92-96a9-5e7b0b95f318 
... 
Total MapReduce CPU Time Spent: 1 minutes 2 seconds 750 msec 
OK 
{"id":"3AFCDA87-BAE5-4EEA-9B47-61BA2B4D0BC8","et%3Aibs%7Cdata%3Ad":"1966"} false 
NULL true 
NULL true 
NULL true 
NULL true 
NULL true 
NULL true 
NULL true 
{"id":"8D0F1D5F-57E7-4127-94C0-C1FD4F98D6E8","et%3Aibs%7Cdata%3Ad":"1966"} false 

私ができますAWS EMR 5.2で実行している最初のクエリを追加し、2番目のクエリはローカルのCDH5.4クラスタで実行しています。

誰かが私にある程度の洞察を与えることができますか？

Answer 1

サイズUDFを使用してこれを回避する方法を見つけました。それはNULLを評価するときのように-1を返します。 （https://github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/udf/generic/GenericUDFSize.java#L74）

ここでは、クエリの実行です：

hive> select size(null) from emr_output limit1; 
OK 
-1 

は