停止単語の削除にApache luceneを使用しているときの例外

Question

入力テキストからの停止単語の削除には、次のコードを使用しています。私はtokenStream.incrementToken()が実行されているときに例外になります。

java.lang.IllegalStateException: TokenStream contract violation: reset()/close() call missing, reset() called multiple times, or subclass does not call super.reset(). Please see Javadocs of TokenStream class for more information about the correct consuming workflow. 

コード：

public static String removeStopWords(String textFile) throws Exception { 
     CharArraySet stopWords = EnglishAnalyzer.getDefaultStopSet(); 
     TokenStream tokenStream = new StandardTokenizer(); 
     tokenStream = new StopFilter(tokenStream, stopWords); 
     StringBuilder sb = new StringBuilder(); 
     CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class); 
     tokenStream.reset(); 
     while (tokenStream.incrementToken()) { 
      String term = charTermAttribute.toString(); 
      sb.append(term + " "); 
     } 
     return sb.toString(); 
    } 

Answer 1

は、以下のようにあなたのTokenStreamをインスタンス化 -

TokenStream tokenStream = new StandardAnalyzer().tokenStream("field",new StringReader(textFile));