Pigを使ってユニークな値を返す方法

Question

私はPigを使って質問したいセンサス情報を含むファイルを持っています。次のように

ファイル形式は次のとおりです。

ID Name Year Gender State Count 

1 Jones 1980 M  MA 100 

私は、ファイル内の各年のその年にその状態のための各名の割合を取得したいと思い

はどうすればよいのループを介して各それぞれの州ごとに、各名前の出現率を計算します。

1901 Jones MA 2% 
    1901 Jones VT 3% 
    1901 Smith MA 1% 
    1901 Lee VT 4% 
    .... 
    .... 

    2016 Jones MA 2% 
    2016 Jones VT 3% 
    2016 Smith MA 1% 
    2016 Lee VT 4% 

を私は状態によって、私はカウント情報与えられた名前ごとに割合を計算するために必要なすべての状態の中にそれを打破する必要があり、テーブル内のすべての年のために次のように

結果が見えるはずです。

Answer 1

年齢別にグループ化して別のリレーションシップを生成し、年ごとに新しいリレーションを持つデータセットに参加させてから、割合を取得する必要があります。

以下を参照してください。

A = LOAD 'census_data' USING PigStorage('\t') as (int:id,name:chararray,year:chararray,gender:chararray,state:chararray,int:count); 
B = GROUP A by (year,state); 
C = FOREACH B GENERATE FLATTEN(group) as (year,state),SUM(A.count) as occurances; 
D = JOIN A BY (year,state),C BY (year,state); 
E = FOREACH D GENERATE A::year,A::name,A::state,CONCAT(A::count/C::occurances,'%'); --If you get an error try A.year,A.name,A.state,CONCAT(A.count/C.occurances,'%'); 
DUMP E;