PIGスクリプトを使用して1つのファイルを複数のファイルに分割します

Question

私はパイプで区切られたテキストファイルabc.txtを持っています。異なるレコードの列の数が異なります。レコードの列数は100,80,70,60になります。私は3列目の値に基づいてabc.txtを分割する必要があります。 3番目の列の値が「A」の場合、「B」、次にB.txtの場合、そのレコードはA.txtになります。 PIGスクリプトを書く必要があります。

位置表記法を使用して SPLIT、あなたはすべてのレコードで3番目の列を持っていると仮定すると

Answer 1

abc = LOAD 'abc.txt' using PigStorage('|'); 

。 0から始まるので、3番目の列は$2になります。

SPLIT abc into a_records if $2 == 'A', b_records if $2 == 'B'; 

次に、STOREはパスとしてファイル名を受け入れないことに注意してください。

STORE a_records into 'A_DIR' using PigStorage('|'); 
STORE b_records into 'B_DIR' using PigStorage('|');