つ以上のキー

Question

問題

に地図-減らす我々はレコードを持って、私ここで、i = 0、...、N R _{を言います。 nは大きくてもよい（数十億で）。}

すべてのレコードは、いくつかのキーk _ij（j = 0、...、m）を持っています。 mが小さい（20言う）

我々は言う、R _P = R _Q、もしK _P0 = K _Q0、K _P1 = K _Q1、...、又は少なくとも一つのその鍵が等しい場合、K _PM = K _QMある

は、レコードは、同じです。そのようなレコードセットを見つけ、それらのセットに固有のIDを生成する必要があります。

アプローチ

実行メートルの各ジョブが一つのキーに減少したジョブを、マップ減らします。

したがって、ジョブのI、マッパ発する（R _Pは、 _IをK）と減速は、（{R 、...、R _P}、K _iは）

を取得

すべてのm個のジョブの最後に、等しいキーを持つレコードのセットがあります。

我々未満でk Nまだ数百万にすることができ、Lは少数であることを期待S _K = {R _リットル}

（5000から2の間と言う）

最終結果を得るには、少なくとも1つのメンバーが共通する上記のセットをマージする必要があります。

I以下の質問があります。

1. どのように効率的にこれらのセットをマージするの？
2. また、この問題を解決する他の方法はありますか？

Answer 1

これはConnectedComponentの問題であり、よく知られている解決策であることが分かりました。