Hadoop 0.20.205.0 WritableComparatorが設定可能なキーを受け付けていません

Question

私は、すべての種類の奇妙な予期しない動作を示しているhadoop 0.20.205.0 MapReduceジョブ（シングルスレッド、ローカル）を実行しようとしていました。私は最終的に理由を考え出した。これは私にはハープのバグのように見えますが、おそらく私が理解できないことがあります。誰かが私に助言をくれますか？ 私のsetMapOutputKeyClassクラスはConfigurableを実装しています。 ReadFieldsメソッドは、setConfが最初に呼び出されない限り正しく読み込まれません（これはConfigurableインターフェイスのポイントだと思います）。 WritableComparatorのコードを見ると、フレームワークがソートするときに、内部キーオブジェクトをインスタンス化します。

70  key1 = newKey(); 
71  key2 = newKey(); 

とNEWKEYは（）キーを構築するために、ヌルの設定を使用しています。私は、デバッガで実行したときに

83 public WritableComparable newKey() { 
84 return ReflectionUtils.newInstance(keyClass, null); 
85 } 

は確かに私は

91  key1.readFields(buffer); 

でいることを見つけます

conf内のkey1はnullなので、setConfは呼び出されていません。

これはhadoopのバグですか、私はConfigurable以外の何かを使ってキーを設定するはずですか？ これがバグであれば誰でも回避策を知っていますか？

編集：ここでは、この理由で失敗したジョブの短い（やや不自然）の例です：

// example/WrapperKey.java 

package example; 

import java.io.DataInput; 
import java.io.DataOutput; 
import java.io.IOException; 

import org.apache.hadoop.conf.Configurable; 
import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.ByteWritable; 
import org.apache.hadoop.io.SequenceFile; 
import org.apache.hadoop.io.WritableComparable; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.hadoop.mapreduce.lib.input.SequenceFileInputFormat; 
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 
import org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat; 
import org.apache.hadoop.util.ReflectionUtils; 

/** 
* This class wraps a WritableComparable class to add one extra possible value 
* (namely null) to the range of values available for that class. 
*/ 
public class WrapperKey<T extends WritableComparable> implements 
     WritableComparable<WrapperKey<T>>, Configurable { 
    private T myInstance; 
    private boolean isNull; 
    private Configuration conf; 

    @Override 
    public void setConf(Configuration conf) { 
     this.conf = conf; 
     Class<T> heldClass = (Class<T>) conf.getClass("example.held.class", 
       null, WritableComparable.class); 
     myInstance = ReflectionUtils.newInstance(heldClass, conf); 
    } 

    @Override 
    public Configuration getConf() { 
     return conf; 
    } 

    @Override 
    public void write(DataOutput out) throws IOException { 
     out.writeBoolean(isNull); 
     if (!isNull) 
      myInstance.write(out); 
    } 

    @Override 
    public void readFields(DataInput in) throws IOException { 
     isNull = in.readBoolean(); 
     if (!isNull) 
      myInstance.readFields(in); 
    } 

    @Override 
    public int compareTo(WrapperKey<T> o) { 
     if (isNull) { 
      if (o.isNull) 
       return 0; 
      else 
       return -1; 
     } else if (o.isNull) 
      return 1; 
     else 
      return myInstance.compareTo(o.myInstance); 
    } 

    public void clear() { 
     isNull = true; 
    } 

    public T get() { 
     return myInstance; 
    } 

    /** 
    * Should sort the KV pairs (5,0), (3,0), and (null,0) to [(null,0), (3,0), (5,0)], but instead fails 
    * with a NullPointerException because WritableComparator's internal keys 
    * are not properly configured 
    */ 
    public static void main(String[] args) throws IOException, 
      InterruptedException, ClassNotFoundException { 
     Configuration conf = new Configuration(); 
     conf.setClass("example.held.class", ByteWritable.class, 
       WritableComparable.class); 
     Path p = new Path("input"); 
     Path startFile = new Path(p, "inputFile"); 
     SequenceFile.Writer writer = new SequenceFile.Writer(
       p.getFileSystem(conf), conf, startFile, WrapperKey.class, 
       ByteWritable.class); 
     WrapperKey<ByteWritable> key = new WrapperKey<ByteWritable>(); 
     key.setConf(conf); 
     ByteWritable value = new ByteWritable((byte) 0); 
     key.get().set((byte) 5); 
     writer.append(key, value); 
     key.get().set((byte) 3); 
     writer.append(key, value); 
     key.clear(); 
     writer.append(key, value); 
     writer.close(); 

     Job j = new Job(conf, "Example job"); 
     j.setInputFormatClass(SequenceFileInputFormat.class); 
     j.setOutputKeyClass(WrapperKey.class); 
     j.setOutputValueClass(ByteWritable.class); 
     j.setOutputFormatClass(SequenceFileOutputFormat.class); 
     FileInputFormat.setInputPaths(j, p); 
     FileOutputFormat.setOutputPath(j, new Path("output")); 
     boolean completed = j.waitForCompletion(true); 
     if (completed) { 
      System.out 
        .println("Successfully sorted byte-pairs by key (putting all null pairs first)"); 
     } else { 
      throw new RuntimeException("Failed to sort"); 
     } 
    } 
} 

Answer 1

WrapperKeyは設定を実装し、setConfを実装しています。インターフェイスを実装するだけで、他のクラスがこれを呼び出すことになるわけではありません。 Hadoopフレームワークは、キーに対してsetConfメソッドを呼び出していない可能性があります。

これはバグではありません。私が見たすべてのタイプはWritableComparableのみを実装し、Configurableは実装していません。これを回避する方法が不明な場合は、キーに具体的な型を定義する必要があります。