新しいAPIを使用したHadoopカスタム入力フォーマット

Question

私はHadoopの初心者です。次の問題があります。私がやろうとしているのは、データベースの断片をマップすることです（マーザにその理由などを問いただしてはいけません）。そして、このデータに対して特定の操作を行い、結果をレデューサーに出力し、その出力を再度使用します。同じシャードフォーマットを使用して同じデータに対して第2のフェーズマップ/リダクションジョブを実行する。 Hadoopは、データベースの断片を送信するための入力方法を提供していません。 LineInputFormatとLineRecordReaderを使用して行単位でしか送信できません。 NLineInputFormatはこの場合も役に立ちません。私は自分のInputFormatを書くためにFileInputFormatとRecordReaderクラスを拡張する必要があります。私はLineRecordReaderを使用することをお勧めしました。基礎となるコードはすでにFileSplitsを扱っており、ファイルの分割に関連するすべての問題があります。 私が今行う必要があるのは、正確にわからないnextKeyValue（）メソッドをオーバーライドすることだけです。

for(int i=0;i<shard_size;i++){ 
      if(lineRecordReader.nextKeyValue()){        lineValue.append(lineRecordReader.getCurrentValue().getBytes(),0,lineRecordReader.getCurrentValue().getLength()); 

}

上記のコードは書きましたが、何とかうまく動作しないものです。あらかじめありがとうございます

Answer 1

私はあなたの入力ファイルに接続文字列といくつかの他の表示をどこに置くことをお勧めします。
Mapperはこの情報を受け取り、データベースに接続してジョブを実行します。私は結果セットをhadoopの書き込み可能なクラスに変換することを提案しません。それはパフォーマンスを妨げるでしょう。
私が取り組むべき問題は、この比較的小さな入力を十分に分割することです。 それぞれに少数のシャード参照を持つ十分な小さなファイルを作成するだけで、小さな分割を作成するために入力フォーマットを微調整することができます。第二の方法はより柔軟になります。

Answer 2

私がしたことは、このようなものです。私は

public boolean nextKeyValue() throws IOException, 

例外：InterruptedExceptionを一度にn行を読んで、入力としてマッパーにそれらを送信するために私自身のレコードリーダーを書いた{

StringBuilder sb = new StringBuilder(); 
    for (int i = 0; i < 5; i++) { 
     if (!lineRecordReader.nextKeyValue()) { 
      return false; 
     } 
     lineKey = lineRecordReader.getCurrentKey(); 
     lineValue = lineRecordReader.getCurrentValue(); 
     sb.append(lineValue.toString()); 
     sb.append(eol); 
    } 
    lineValue.set(sb.toString()); 
    //System.out.println(lineValue.toString()); 

    return true; 

    // throw new UnsupportedOperationException("Not supported yet."); 
} 

行う方法あなたは薄い私がやったこと