ファイルの類似性を評価する（言語不問の質問）

Question

私はファイルストア（ほとんどのファイルが< 40MB、数ギガバイトのビデオファイルとグラフィックスファイルを含む75,000ファイル）を持っており、その中のファイルの類似性を簡単な手段。

私は、反転されたものを除いてハッシュキーのように機能すると考えています（ファイルの小さな変更に対してはハッシュキーが大きく異なりますが、小さな変更の場合はこの数字が少し異なります）。文書は処理され、番号が生成され、これらの番号またはコードを比較して、どれが似ているかを調べることができます。

これは可能ですか？誰かがオープンソースの実装やアルゴリズムについて知っていますか？任意のファイルタイプをカバーしなければならないので、検索ソリューション（Apache Solrなど）は私が探しているものではありません。

Answer 1

あなたはシムハッシュを探しています。このarticle。

Answer 2

バイオインフォマティクスの分野、特にBLASTとFASTAで使用されるアルゴリズムを見てください。

これは共通の研究課題であり、種間で非常に類似している遺伝子コードの部分文字列を特定します。

Answer 3

解決策はありませんが、locality sensitive hashingをご覧ください。