大きなファイルのデルタエンコーディング - 良好な実装が可能ですか？

Question

私のバックアップツールでは、まだバイナリファイルを処理できる良いデルタエンコーディングアルゴリズムを探しています。問題は、私は非常に巨大なバイナリファイルを持っています。 600MB以上。したがって、32ビットアプリケーションでは最大10ギガバイトのRAMを割り当てることはかなり難しいです。正直なところ、それは不可能です。

私はcsharpのbsdiffの実装を見てhereを見ました。かなりクールですが、ファイル全体をバイト配列にロードします。だから、大規模なファイルを扱うことができる実装は誰もいますか？つまり、本当に大きなファイルですか？

Answer 1

Windows環境で実行していると仮定すると、Remote Differential Compressionをご覧ください。これはrsyncの改良点として開発されたもので、サーバとクライアントが同じバージョンのファイルを持ち、そのうちの1つが「マスタ」であり、それらを一緒に同期させたいという前提があります。

COMライブラリのC＃ラッパーはhereです。