hadoop pig：条件で結合する（例：tab1.COL1 LIKE（％tab2.col2％））

Question

PIGで条件に結合を実装する方法は？ SQL相当例：

 select * from tab1, tab2 where instr(t1.col1,t2.col1) > 1 ; 
     select * from tab1, tab2 where f(t1.col1) =f(t2.col1) ; 

ありがとうございました。 Filippo

Answer 1

現在のところ、ブタはインナー結合、外部結合およびフル結合だけをサポートしています。 2番目の結合の例は、もう1つではなく、Pigで実装できます。以下は例です。

tab1 = LOAD 'file1' using PigStorage('|') using (col1:chararray,col2:chararray); 
tab2 = LOAD 'file2' using PigStorage('|') using (col1:chararray,col2:chararray); 
result = JOIN tab1 by col1, tab2 by col1; 

Answer 2

これを試してください。

Cross_Table = CROSS tab1, tab2; 
Filter_Table = FILTER Cross_Table BY NOT(STARTSWITH(tab1::col1, tab2::col1)); 

Join_Table = JOIN tab1 BY f(col1) INNER JOIN, tab2 BY f(col1);