Pythonを使用してファイルコレクション内の重複するテキストを検索して削除します

Question

私はmarkdownを含む40〜50個のテキストファイルのコレクションを持っています。それらの中には重複する単語、文章、段落が含まれているものもあります。私は、ファイルをスキャンし、一致（またはそれに近いもの）を特定するのに役立つスクリプト/アルゴリズムを探しています。そんなことをどこで見つけることができますか？このタイプのものをオンラインで検索すると、他のタイプの問題の結果が得られましたが、これは問題ではありません。私の検索範囲を狭めるのに役立つ手がかりをいただければ幸いです。

Answer 1

基本的に、簡単な無理矢理の力ですべての問題を解決できます。しかし、あなたの要件（タイミング、メモリ、...）に依存する別のアルゴリズムを検討する必要があります：Boyer-Moore、Rabin-Karp文字列検索アルゴリズム、Knuth-Morris-Prattアルゴリズム。