0
大量のWebサーバーアクセスログを分析する必要があるとします。これらのログはテキストファイルであり、1行に1つのアクセス権を付与します。最初の(スペースで区切られた)列には、アクセスしたページのURLが入ります。目的は、すべてのURLをヒット数とともにリスト表示するレポートを作成することです。どのように各ステップの擬似コードを書くか?Mapreduceで擬似コードを書くには?
大量のWebサーバーアクセスログを分析する必要があるとします。これらのログはテキストファイルであり、1行に1つのアクセス権を付与します。最初の(スペースで区切られた)列には、アクセスしたページのURLが入ります。目的は、すべてのURLをヒット数とともにリスト表示するレポートを作成することです。どのように各ステップの擬似コードを書くか?Mapreduceで擬似コードを書くには?
基本的には、WordCountがURLを使用しているだけです。
剥奪された「psudeocode」straight from the tutorial。
class Mapper {
final IntWritable ONE = new IntWritable(1);
map(LongWritable key, Text value, Context context) {
String[] columns = value.split(" ");
String url = columns[0];
context.write(url, ONE);
}
}
class Reducer {
IntWritable result = new IntWritable();
reduce(Text key, Iterable<IntWritable> values, Context context) {
int sum = sum(values);
result.set(sum);
context.write(key, result);
}
}
擬似コードは、どのフレームワークや言語にも束縛されていないため、私はその質問を理解できません。 –