PIGのCOGROUPに参加する

Question

豚にJOINの代わりにCOGROUPを使用すると、利点はありますか？

http://developer.yahoo.com/hadoop/tutorial/module6.htmlは出力の種類の違いについて話しています。しかし、 "出力スキーマ"を無視すると、パフォーマンスに大きな違いはありますか？

Answer 1

パフォーマンスに大きな違いはありません。私がこれを言うのは、同じデータをレデューサーに送る単一のMapReduceジョブであるということです。両方とも、キーが外部キーである状態ですべてのレコードを転送する必要があります。まったくの場合、COGROUPは少し速くなるかもしれません。なぜなら、それはヒットを越えてデカルト製品を行わず、それらを別々の袋に入れておくからです。

データセットの1つが小さい場合は、"replicated join"というジョインオプションを使用できます。これにより、2番目のデータセットがすべてのマップタスクに分散され、メインメモリにロードされます。この方法では、マッパーで結合全体を行うことができ、減速器は必要ありません。私の経験では、これは非常に価値があります。なぜなら、結合とコグループのボトルネックは、データセット全体をレジューサーに入れ替えることだからです。私の知る限りCOGROUPでこれを行うことはできません。