ブランド名と一致するように文字列を比較し、スペルミスを削除します

Question

ブランド名（Coca-Cola、Pepsi、7Upなど）が含まれているテキストのリストがあります。私は同じコンテンツ（同じテキスト、小文字の全テキストの後ろ）を持つすべてのセルをソートしてカウントし、各テキストの数によってリストを並べ替えるPythonスクリプトを書いたので、最も出現するテキストが最初に表示され、なぜなら、ほとんどの人がブランド名を正しく書いてくれると私は考えているからです。たとえば 私は次のリストを持っている場合：

texts = ['Coca-Cola', 'Pepsi', 'Coca-Cola', 'Coca-Cola', 'Pepsi', 'Pespi', 'Pepsi', '7Up', '7up', 'Cola', 'Pepsi'] 

最初のステップの後のリストは次のようになります。

ordered_text = [ 
    {'text': 'Pepsi', count: 4}, 
    {'text': 'Coca-Cola', count: 3}, 
    {'text': '7Up', count: 2}, 
    {'text': 'Cola', count: 1}, 
    {'text': 'Pespi', count: 1}, 
] 

第二段階では、私がしようと近づくと一致するようにngramパッケージを使用していますスペルミスを修正するためのテキスト。 重要な注記：私の主な要求の1つは、言語に不可知の解決策を用意することです。

私の問題は、長いテキストではうまく動作しますが、短いテキストではうまくいきません。たとえば、実行している場合：

ngram.NGram.compare('Pepsi', 'Pespi') 

は、結果は次のようになります。非常に低い「スコア」をですが、あなたが見ることができるように、文字列が本当に近く、唯一の1文字がある

0.2727272727272727 

こと配置が間違っています。

Relustを改善するにはどうすればよいですか？私は別のアルゴリズムを使用する必要がありますか？あるいは、このテストに異なるパラメータを指定することはできますか？私が見つけたすべての「新しい」単語を含む辞書を追加して追加した後、それぞれの単語をそれと比較することができますが、スクリプトの細かさは失われます。

Answer 1

入力の正確性をスペルチェックしたい場合や、グループ化したい場合は、あなたの質問からは分かりません。たとえば、入力が['coka-cola', 'coak-cola', 'coca-coca']のように見える場合、アルゴリズムはどのようにする必要がありますか？

• これらをすべて{'coka-cola': 3}としてグループ化する必要がありますか？意味は常に最初の発生と入力を比較しますか？この場合、編集距離が意味をなさないので、これに対して多くのPython実装を簡単に見つけることができます。

• 正しいスペルでグルーピングする必要がありますか？{'coka-cola': 3}？この場合、あなたは良いスペルコレクターが必要です。ここにはいくつかのオプションがありますが、autocorrectパッケージ、またはより複雑なソリューションの場合はNLTKパッケージをご覧ください。もう1つの選択肢は、Googleを使用することです。私はGoogleからサポートされているAPIはないと思うので、スペルを修正する必要があります。そのため、Googleにリクエストを発行する際に推奨される結果を得るために何らかの手間をかけなければなりません。