ハイブのセット内の要素の平均数？

Question

私は2つの列idとsegmentを持っています。セグメントはコンマで区切られた文字列です。私はすべてのテーブルでセグメントの平均数を見つける必要があります。上記の場合であろう= 2 8/4を

A - select count(*) from table_name; 
B - select count(*) from table_name LATERAL VIEW explode(split(segment, ',') lTable AS singleSegment where segment != "" 
avg = B/A 

回答 - それを行う1つの方法は、2つの別個のクエリを使用することです。

これを達成するより良い方法はありますか？

Answer 1

試してみてください。

select sum(CASE segment 
      WHEN '' THEN 0 
      ELSE size(split(segment,',')) 
      END 
      )*1.0/count(*) from table_name; 

あなたのidフィールドは一意であり、あなたは、セグメント部にフィルタを追加、またはa,b,とa,,bのような他の不正な形式のsegment値から守る、あなたが行うことができますしたい場合：

SELECT SUM(seg_size)*1.0/count(*) FROM (
    SELECT count(*) as seg_size from table_name 
    LATERAL VIEW explode(split(segment, ',')) lTable AS singleSegment 
    WHERE trim(singleSegment) != "" 
    GROUP BY id 
) sizes 

次に、他のものをwhere句に追加できます。

しかし、このクエリでは、より単純なクエリの場合と比べて2つのHiveジョブを実行し、idフィールドを一意にする必要があります。