2016-05-10 10 views
1

た後、私はマップ2ステップだけステップの削減の完了後に開始する次のパターンスロースタート減速

Map1 --> Reduce --> Map2 

を構築するためにChainReducerを使用しています。 hadoopマップにこれを設定するプロパティがありますか?あなたは何をすべき

答えて

1

は次のとおりです。

ChainMapper.addMapper(generalConf, Map1.class, ..., new JobConf(false)); 
ChainReducer.setReducer(generalConf, Reduce.class, ..., new JobConf(false)); 
ChainReducer.addMapper(generalConf, Map2.class, ..., true, new JobConf(false)); 
// execute the job with generalConf 

上記のコードは、Map2の実行というReduceが終了したときに、唯一の起動を保証します。

+0

私は同じコードを使用しました。第2のマッパは減速器が完了するのを待たない。 2番目のマッパーは、減速機がデータを書き込み、完了を待たずに処理を開始します – Pradeep

+0

@ user1690436 ChainMapperとChainReducerに同じ設定を渡していますか?コードのこの部分を投稿してください。 – Serhiy