ハイブの各単語のユニークワード数を取得

Question

次のような表を持っています。

select * from tablename;

ID     sentence 
1    This is a sentence 
2    This might be a test 
3      America 
4     This this 

文章を単語に分割し、降順で単語の数を取得するクエリを作成します。私は

カウントは単語列とユニーク（IDS）で発生した回数がある

word  count Unique(ids) 

This  4   3 
a   2   2 
might  1   1 
. 
. 
. 

は、その単語を持つユーザーの数である、のような出力に何かを持っていると思います。

私はこれを行うためにどのようにクエリを書くことができると考えていますか？

誰でもハイブでこれをやってくれますか？

おかげ

Answer 1

laterralビュー

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView

select id, word 
from tablename tn lateral view explode(split(tn.sentense, ' ')) tb as word 

結果は次のようになります。

1 This 
1 is 
1 a 
1 sentense 
2 This 
2 might 
2 be 
2 a 
2 test 
3 america 

私が不適切に削除