2016-12-07 21 views
0

最終出力が降順で表示されるように、ワードカウントプログラムでセカンダリソートを実行する方法は? (値に基づいて)Hadoop MapReduce

注:私はテキストファイルからデータを読み取っています。 私はコンポジットキー、パーティショナー、コンパレータ、この質問にどのように使用する必要がありますか?多くの例えば4または5つの入力、例えば、温度ここ

https://vangjee.wordpress.com/2012/03/20/secondary-sorting-aka-sorting-values-in-hadoops-mapreduce-programming-paradigm/

答えて

0

を持ってオンラインで、私は、MapReduceのプログラムは、実際のパーティションであると仮定してソートしています。逆順でソートするには、ソート値の後ろに 'r'を追加します(k1,1r)。

これは、mapReduceがzから逆順にアルファベット順にソートし、aからaに降りることを意味します。

-D mapreduce.partition.keycomparator.options="-k1,1r -k2,2 -k3,3" 

パーティショニングとソートが最初に実際に行われていることを確認してください。

関連する問題