PHPを使用して配列に含まれる類似フレーズの数を減らすにはどうすればよいですか？

Question

私はフレーズ（数百から数百）を含む配列を持っています。

例：

adhesive materials 
adhesive material 
material adhesive 
adhesive applicator 
adhesive applicators 
adhesive applications 
adhesive application 
adhesives applications 
adhesive application systems 
adhesive application system 

プログラムでは、PHPを使用して、私は（いくつかのバリエーションが、許容可能である例えば接着剤塗布具と接着剤塗布してもよい語幹単語のようなものを使用して、以下のリストに上記のリストを削減したいと思います。ステムが同じであるため、互いに区別することは困難です）。

adhesive material 
material adhesive 
adhesive applicator 
adhesive application 
adhesive application system 

これを行うにはどのような方法が最適ですか？

Answer 1

最小しきい値を決めてから、levenshtein関数を使用して、単語の類似度を判断します。

それはあなたが、多かれ少なかれ、このやっているはずだように見えます：

$origs = array(); 
// assuming your example is an array already. 
foreach($setList as $set) 
{ 
    $pieces = explode(' ', $set); 
    $add = true; 
    foreach($origs as $keySet) 
    { 
     if(levenshtein($pieces[ 0 ], $keySet[ 0 ]) < 3 || 
      levenshtein($pieces[ 1 ], $keySet[ 0 ]) < 3) 
     { 
      $add = false; 
      break; 
     } 
    } 

    if($add) $origs[] = $pieces; 
} 

をあなたの出力のようなリストが残されます。最短の単語がリストに含まれていることを好みにしていれば、いくつかの変更を加える必要があります。