Hiveで複数の同じ演算子と関数の呼び出しを最適化しますか？

Question

私はHiveを初めて使い、実行に時間がかかるクエリを最適化しようとしています。私は、SELECT文とWHERE文でregexp_extractとget_jsonを同じ呼び出しをしていますが、これを最適化する方法があるかどうかと疑問に思っていました。バックグラウンドで）。

例クエリ：

SELECT 
    regexp_extract(get_json(json, 'url'), '.*[&?]q=([^&]*)') as query 
FROM 
    api_request_logs 
WHERE 
    LENGTH(regexp_extract(get_json(json, 'url'), '.*[&?]q=([^&]*)')) > 0 

ありがとう！

Answer 1

あなたは一度だけ正規表現を指定するには、派生テーブルを使用することができますが、私はそれがより速く

select * from (
    select regexp_extract(get_json(json, 'url'), '.*[&?]q=([^&]*)') as query 
    from api_request_logs 
) t where length(query) > 0