PorterとLancaster Stemmingアルゴリズムの主な違いと利点は何ですか？

Question

私はJavaでのドキュメント分類作業に取り組んでいます。

どちらのアルゴリズムも強く推奨されていますが、それぞれのメリットとデメリットは何か、自然言語処理タスクの文献でよく使用されていますか？

Answer 1

ポーターとランカスターのステミングアルゴリズムの主な違いは、ランカスターのステマーがポーターステマーよりもはるかに積極的であることです。今日使用されている3つの主要なステミングアルゴリズムは、Porter、Snowball（Porter2）、Lancaster（Paice-Husk）です。 Porterは、最も積極的なアルゴリズムであり、各アルゴリズムの詳細は実際にかなり長く技術的です。しかし、ここではあなたのためのブレークダウンです：

ポーター：最も一般的に使用されるステマー、間違いなく、最も穏やかなstemmersのも。実際にはJavaのサポートをプラスしている少数のステムマーのうちの1つですが、計算量が最も多いアルゴリズムです（非常に大きなマージンではありません）。それはまた、最も大きなステミングアルゴリズムでもあります。

Porter2：ほとんど普遍的に、ポーターを上回る改善と見なされています。正当な理由があります。 Porter自身は、実際には彼の元のアルゴリズムよりも優れていると認めています。ポーターに比べて計算時間がやや速く、周囲にはかなり大きなコミュニティがあります。

ランカスター：非常に積極的なステミングアルゴリズムです。ポーターとスノーボールでは、通常、棒状の表現は読者にとってかなり直感的であり、多くの短い単語が完全に難読化されるため、ランカスターではそうではありません。ここでは最速のアルゴリズムで、ワーキングセットを大きく減らすことはできますが、もっと区別したいのであれば、あなたが望むツールではありません。

正直言って、私はスノーボールが普通に行く方法だと感じています。ランカスターがあなたのワーキングセットを大幅にトリミングする特定の状況がありますが、これは非常に便利ですが、私の意見ではスノーボールの限界速度が精度の欠如に値するものではありません。ポーターは最も実装が多いので、通常はデフォルトのゴーイングアルゴリズムですが、可能であればスノーボールを使用します。