LoadFunc.getNext（）内のレコードをスキップします。

Question

LoadFuncを拡張しています。 getNext関数では、特定の条件の下でタプルを返すのをスキップしたいと思います。この方法では、データファイルのサンプルのみを読み込むことができます。私は戻ってほしくない行のnullを返そうとしましたが、最初のnullタプルが返された後にメソッドが終了するという問題があります。

これを行う方法を知っている人はいますか？私は別の方法でそれを行うべきですか？

ありがとうございます。

Answer 1

私はあなたが単にgetNext()法の本来の文書使用を壊さないために何をしたいん新しいメソッドを書くことをお勧め

を（...あなたは豚でLoadFuncを意味すると仮定）。

LoadFuncを継承し、どのようにgetNext()を実装しているかについては、Pigクラスのソースを参照してください。例：TextLoader

そこから、実行しようとしていることを行うのはかなり簡単です。 getNext()方法はRecordReaderから読んでいる

（これは例として、たTextReaderを使用している）

：

編集しようとすると、もう少し詳細なヘルプを提供します。それはRecordReader.nextKeyValue()を呼び出して次のレコードに進むことによって行います。それが真である（レコードを読み取ったことを意味する）かどうかをチェックし、レコードがある場合は、RecordReader.getCurrentValue()を呼び出して値を取得します。

あなただけgetNext()にサンプルとして五回ごとに1を望んでいたとしましょう：

int count = 0; 
Text myText = null; 
whlie(myRecordReader.nextKeyValue() == true) 
{ 
    if (count == 4) 
    { 
      myText = (Text) myRecordReader.getCurrentValue(); 
      break; 
    } 

    count++; 
} 

if (myText != null) // we didn't hit the end; we have a record 
{ 
    ... // create the tuple 
    return myTuple; 
} 
else 
    return null; 

私は前にこれを読んでいた