リダクターで複数出力

Question

私は単純なマップの削減プログラムに取り組んでいます。私は、キー内の異なる単語ごとに減速器の後に異なるファイルを作成したい。例えば、マップリデュースを実行した後、私は優先1、X 2

優先1 Y 2

優先1 Z 2

priority2 X 2

priority2 yを次に2

ようなものがありますフェーズを減らした後に優先順位に従ってこれらの値をすべて持つPriority1とPriority2と言って、別のファイルが必要です。私はjavaを使用しており、この種の出力を持つために減速機に何を書き込むべきかを知りたいですか？

私はこれが可能かどうか、あるいはこれに近づいたり解決する方法を知りたいだけです。 Hadoop 0.20.203を使用しているため、複数の出力が機能しません。

すべてのポインタが役立ちます。 助けてくれてありがとう！ Atul

Answer 1

あなたの基準に基づいて、最初にpartionerクラスを作成する必要があります。

次に、独自のoutputformatクラスとrecordwriterクラスを作成する必要があります。

クラスrecordwriterクラスは、必要に応じて別のファイルに書き込む必要があります。さらに、値をソートする必要がある場合は、キーフィールドにcomparatorクラスを作成します。

Answer 2

MultipleOutputsをご覧ください。