私たちは私たちのネットワーク上で共有する非常に大きなファイル(> 1 GB)の大きなセット(10個以上)を持っています。場合によっては、いくつかの小さなファイルもあります。ファイルの整合性チェック
いずれにしても、転送後にこれらのファイルが正しいことを確認します。だから私はちょうどいくつかの異なるハッシュ(SHA1とMD5、多分CRC32かもしれない)を計算し、それをメタデータファイルに保存するツールを作成できると思っています。受信側の誰でも、ツールを使用してファイルを確認できます。
ファイルのサイズが指定されていると、破損したファイルが元のファイルと衝突する可能性がありますか?私は誰か心配していません意図的に衝突を生成します。
この場合、bittorrentを使用することもオプションです。これは、はるかに小さなチャンク(数KBから数MB)のSHA1を計算するためです。もう一つのプラスは、データの送信を処理することさえあるということです。しかし、同じチャンクが別のファイルに属している可能性もあるため、不便さが増します。この場合、ファイルの「近隣」が必要です。もちろん、私はダミーの詰め物を追加することができましたが、今は物事を複雑にしています。
私は2^80を知っていて、2^64もかなり大きい数字で、そのハッシュは "雪崩効果"を持つように設計されているので、ちょっとの不安感があるかもしれません。