2017-04-03 25 views
0

のMapReduceを呼び出す:しかし、今、私はグループに周波数を必要とする私はここにワードカウントのチュートリアル以下のよ二回

word frequency 
1 1 
2 2 
3 3 
4 1 
5 2 
6 1 

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Example:_WordCount_v1.0

と私は言葉が、この形式で表示する頻度を生成することができますが

frequency count 
1   3 
2   2 
3   1 

基本的に、頻度ごとに、その頻度がどのように現れたかを調べます。これを示すためにコードをどのように変更すればよいですか? IntSumReducerを変更する必要があるような気がしますが、Hadoopで実際に作業したことはありません。

答えて

1

例からSumReducerを変更する代わりに、ワードカウントプログラムの出力で動作する新しいジョブをすべて作成する必要があります。

マッパーは周波数をキーとして、整数1を値として出力する必要があります。あなた自身の減速機を書くことができますか、単に例で使用したのと同じ減速機を使用することができます。

+0

マッパーとリデューサーが必要ですか? – user1883614

+0

はい。しかし、私が答えで述べたように、サンプル減速機を使用し、カスタムマッパーを必要とするだけです。 – alpeshpandya

関連する問題