マップ内の.csvの最初の行をスキップするreduce java

Question

マッパー関数はすべての行で実行されるため、最初の行をスキップする方法を知ることはできますか。いくつかのファイルについては、私が無視したいカラムヘッダーで構成されています

Answer 1

{// を発する} {// スキップ}、データはキー値として読み出されますペア。キーは、次の行が始まるバイトオフセットです。 1行目は常にゼロです。だからマッパー関数では、次の操作を実行します

@Override 
    public void map(LongWritable key, Text value, Context context) throws IOException { 
     try { 
      if (key.get() == 0 && value.toString().contains("header") /*Some condition satisfying it is header*/) 
       return; 
      else { 
       // For rest of data it goes here 
      } 
     } catch (Exception e) { 
      e.printStackTrace(); 
     } 
    }  

Answer 2

ファイルは複数のノードに格納できるため、どのマシンにヘッダーパーツが存在し、どのマッパーがファイルのその部分を処理しているのかはわかりません。 Mapper自体のヘッダーを除外することができます。このためにヘッダーを知る必要があります。たとえば、 String [] cols = line.tokenize（）; IF（COLS [0] .equals（ "ヘッダ"））ファイルの読み取り中に他のマッパーで