このループのパフォーマンスを向上させることはできますか？

Question

私は本を読んでいて、そこからいくつかの単語を削除しています。

Vector<String> pages = new Vector<String>(); // Contains about 1500 page, each page has about 1000 words. 
Vector<String> wordsToDelete = new Vector<String>(); // Contains about 50000 words. 

for(String page: pages) { 
    String pageInLowCase = page.toLowerCase(); 

    for(String wordToDelete: wordsToDelete) { 
     if(pageInLowCase.contains(wordToDelete)) 
      page = page.replaceAll("(?i)\\b" + wordToDelete + "\\b" , ""); 
    } 

    // Do some staff with the final page that does not take much time. 
} 

このコードを実行するために約3分かかります：私の問題は、例をプロセスに時間がかかる、と私はその性能より良い（少ない時間）を作りたいということです。もし私がのループをスキップしたらreplaceAll（...）私は2分以上を保存することができます。 高速なパフォーマンスで同じループを実行する方法はありますか？

Answer 1

最初に、contains(..)のチェックを取り除くことができます。不要なオーバーヘッドが追加されます。そして、これが当てはまらない時には、時には真実を返すでしょう。たとえば、ページに「ノット」しかない場合でも、「not」の場合はtrueが返されます。

別のもの - VectorをArrayListに置き換えてください。

そしてKonradがコメントに示したように、あなたはベクトルを変更していません。 Stringは不変なので、オブジェクトを変更していません。 set(..)を使用して（繰り返しインデックスを維持する）必要があります。

Answer 2

はい、ページを別の方法で処理できます。基本的な考え方は、ここで

for (String word : page) { 
    if (!forbiddenWords.contains(word)) { 
     pageResult.append(word); 
    } 
} 

を以下forbiddenWordsされるセットです。
また、for (String word : page)は、ページを単語のリストに構文解析するための略語です。結果に空白を追加することを忘れないでください（分かりやすくするために省略します）。

元のバージョンでの1ページの処理の複雑さは〜50000 * 1000でしたが、現在は1000までです。私は10分間の仕事から自分をそらすしたかったので

編集
は、ここで使用java.lang.StringBuilderコード:)

String text = "This is a bad word, and this is very bad, terrible word."; 
    Set<String> forbiddenWords = new HashSet<String>(Arrays.asList("bad", "terrible")); 

    text += "|"; // mark end of text 
    boolean readingWord = false; 
    StringBuilder currentWord = new StringBuilder(); 
    StringBuilder result = new StringBuilder(); 

    for (int pos = 0; pos < text.length(); ++pos) { 
     char c = text.charAt(pos); 
     if (readingWord) { 
      if (Character.isLetter(c)) { 
       currentWord.append(c); 
      } else { 
       // finished reading a word 
       readingWord = false; 
       if (!forbiddenWords.contains(currentWord.toString().toLowerCase())) { 
        result.append(currentWord); 
       } 

       result.append(c); 
      } 
     } else { 
      if (Character.isLetter(c)) { 
       // start reading a new word 
       readingWord = true; 
       currentWord.setLength(0); 
       currentWord.append(c); 
      } else { 
       // append punctuation marks and spaces to result immediately 
       result.append(c); 
      } 
     } 
    } 

    result.setLength(result.length() - 1); // remove end of text mark 
    System.out.println(result); 

Answer 3

です（単語がHashSetであるかどうかをチェックすることは一定の時間がかかります） - それは、特別に作成されています変更されたテキストの場合。

StringBuilder builder = new StringBuilder(page); 
for (String word: wordsToDelete) { 
    int position = 0; 
    int newpos = 0; 
    while ((newpos = builder.indexOf(word, position))>=0) { 
     builder.delete(position, position+word.length()); 
     position = newpos; 
    } 
} 

それはちょうどアイデアだ - それはワード境界

Answer 4

問題はあなたがループのための二重を持っているかどうかをチェックしません。これらは一般的にパフォーマンスが低く、x * yの性能と同等です。また、LowerCaseを呼び出してreplaceAllを呼び出すたびに文字列を変更することはできないため、新しい文字列を作成しています。だから、リスト内の各単語のページ全体を含むx * y個の文字列を作成しています。これは、正規表現でMULTI_LINEとCASE_INSENSITIVEオプションを使用することで回避できます。

これを1つのループに減らし、regexを使ってすべての単語を一度に置き換えることができます。ページを仮定

StringBuffer buffer = new StringBuffer(); 
    for (String word : wordsToDelete) { 
     if (buffer.length() != 0) { 
      buffer.append("|"); 
     } 
     buffer.append("(\\b"); 
     buffer.append(word); 
     buffer.append("\\b)"); 
    } 

    Pattern pattern = Pattern.compile(buffer.toString(), Pattern.CASE_INSENSITIVE | Pattern.MULTILINE); 

    List<String> newPageList = new ArrayList<String>(); 

    for (String page : pages) { 
     Matcher matcher = pattern.matcher(page); 
     String newPage = matcher.replaceAll(""); 
     newPageList.add(newPage); 
    } 

Answer 5

は独立しており、あなたの周りの複数のコアを持っている、とあなたが処理するために、ページの多くを持っている場合は、このループはまた、並列化することができます

final ArrayList<String> pages = ...; 
final Set<String> wordsToDelete = ...; 
final ExecutorService pageFrobber = Executors.newFixedThreadPool(8); //pick suitable size 
final List<Callable<String>> toFrobPages = new ArrayList<Callable<String>>(pages.size()); 

for(final String page: pages) { 
    toFrobPages.add(new Callable<String>() { 
     String call() { 
     return page.toLowerCase().replaceAll("(?i)\\b" + wordToDelete + "\\b" , ""); 
     } 
    }); 
} 

final List<Future<String>> frobbedPages = pageFrobber.executeAll(toFrobPages); 
// the above will block until all pages are processed 
// frobbedPages will contain a set of Future<String> which can be converted to strings 
// by calling get()