1
た後、私はマップ2ステップだけステップの削減の完了後に開始する次のパターンスロースタート減速
Map1 --> Reduce --> Map2
を構築するためにChainReducerを使用しています。 hadoopマップにこれを設定するプロパティがありますか?あなたは何をすべき
た後、私はマップ2ステップだけステップの削減の完了後に開始する次のパターンスロースタート減速
Map1 --> Reduce --> Map2
を構築するためにChainReducerを使用しています。 hadoopマップにこれを設定するプロパティがありますか?あなたは何をすべき
は次のとおりです。
ChainMapper.addMapper(generalConf, Map1.class, ..., new JobConf(false));
ChainReducer.setReducer(generalConf, Reduce.class, ..., new JobConf(false));
ChainReducer.addMapper(generalConf, Map2.class, ..., true, new JobConf(false));
// execute the job with generalConf
上記のコードは、Map2
の実行というReduce
が終了したときに、唯一の起動を保証します。
私は同じコードを使用しました。第2のマッパは減速器が完了するのを待たない。 2番目のマッパーは、減速機がデータを書き込み、完了を待たずに処理を開始します – Pradeep
@ user1690436 ChainMapperとChainReducerに同じ設定を渡していますか?コードのこの部分を投稿してください。 – Serhiy