Hadoopでの出力の書式設定と読みやすさ

Question

Hadoopを学習してうまく動作するWordCount.javaチュートリアルを試してみます。私はそれにゼロの問題があります。私の唯一の問題は、出力ファイルに結果が表示されたら、自分でStringsを追加したいということです。それで、私が読んだ別のファイルがあると言うと、私はそれが読めるようにします。

========= Output 1 ========= 
// Results here 
============================ 

========= Output 2 ========= 
// 2nd Results here 
============================ 

よりもむしろ

// Results here 
// More results 

私は基本的にただ出力ファイルに出力を一度に送信できるようにしたいです。これを行うための最良の場所/方法は何ですか？私はそれがメインになるだろうと推測しているが、わからない。 hadoopはこれ用に設計されていますか？あるいは、出力ファイルをきれいにするために何らかのbashスクリプトを使用すべきですか？以下

コード、

import java.io.IOException; 
import java.util.*; 

import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.conf.*; 
import org.apache.hadoop.io.*; 
import org.apache.hadoop.mapred.*; 
import org.apache.hadoop.util.*; 

public class WordCount { 

public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { 
    private final static IntWritable one = new IntWritable(1); 
    private Text word = new Text(); 

    public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { 
    String line = value.toString(); 
    StringTokenizer tokenizer = new StringTokenizer(line); 
    while (tokenizer.hasMoreTokens()) { 
     word.set(tokenizer.nextToken()); 
     output.collect(word, one); 
    } 
    } 
} 

public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { 
    public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { 
    int sum = 0; 
    while (values.hasNext()) { 
     sum += values.next().get(); 
    } 
    output.collect(key, new IntWritable(sum)); 
    } 
} 

public static void main(String[] args) throws Exception { 
    JobConf conf = new JobConf(WordCount.class); 
    conf.setJobName("wordcount"); 

    conf.setOutputKeyClass(Text.class); 
    conf.setOutputValueClass(IntWritable.class); 

    conf.setMapperClass(Map.class); 
    conf.setCombinerClass(Reduce.class); 
    conf.setReducerClass(Reduce.class); 

    conf.setInputFormat(TextInputFormat.class); 
    conf.setOutputFormat(TextOutputFormat.class); 

    FileInputFormat.setInputPaths(conf, new Path(args[0])); 
    FileOutputFormat.setOutputPath(conf, new Path(args[1])); 

    JobClient.runJob(conf); 
} 
} 

Answer 1

私はこのためにNullWritableを使用することができると信じて。より良い方法があれば、回答を投稿してください。