カスタムキーの場合にカスタムパーティショナーのnumReduceTaskを設定するには

Question

HashPartitioner<Text,Text> hash=new HashPartitioner<Text,Text>(); 

@Override 
public int getPartition(CompositeKeyClass keyClass, Text valClass, int numOfPartition) { 
    // TODO Auto-generated method stub 
    try {  
     String[] type=valClass.toString().split(","); 

     if(type[0].equals("Mapper1")) { 
      return (hash.getPartition(keyClass.getFirst(), valClass, numOfPartition))%numOfPartition; 
     } else { 
      return (hash.getPartition(keyClass.getFirst(), valClass, numOfPartition))%numOfPartition; 
     } 
    } 
} 

上記のコードをPartitionerクラスで使用してカスタムクラスのキーを取得しています。すべて正常に動作しますが、テキスト "Mapper1"が最初のレデューサーに送信され、もう1つが2番目に送信された値が必要です。それをどうすれば実現できますか？私はjob.numOfReduceTaksを2に設定しました。助けてください！

Answer 1

これは静的な決定権ですか？ これを試してみてください：

if (type[0].equals("Mapper1")) { 
    return 0; 
} else { 
    return 1; 
} 

そして、はい、ドライバーにあなたは右のそれをやったjob.numOfReduceTaks 2に設定する必要があります。