2016-04-29 5 views
0

私はmapreduceプログラムから1000レコードだけを生成したいとします。 複数のマッパーが1つのレデューサーに入っているので、マッパーから来るレコードの数を制限することはオプションではありません。 MapReduceは、いくつかの私がmapreduce(JAVA)ジョブで生成されるレコードの量を制限する方法はありますか?

HCatOutputFormat.setOutput(job, OutputJobInfo.create(dbName, tbName, partitionValues)).limit(1000); 

またはそのような似たようなのような何かを行うことができます機能に

を構築していますか?

答えて

0

これにはMAP_OUTPUT_RECORDSカウンタを組み込むことができます。 Hereは例です

関連する問題