reducers

1熱

3答えて

Hadoopマッパーは一意のキーを発行します。マップごとに減速機を実行できますか？

マイマッパーは「ユニークキー」 - 「非常に大きな値」のペアを生成します。私のレデューサーは、キーがユニークであることを知らない。したがって、すべてのマッパーが完了するまでレデューサーが待機します。私はコンバイナを使用しようとしましたが、私の減速材は非常に複雑なので、私にとっては簡単な解決策ではありません。私の質問は、マップごとにレデューサーを実行するにはどうすればいいですか？コンバイナ