2017-04-26 23 views
1

rsyncを使用して、WebDavを介して大量のファイル(Ubuntu Linuxサーバー上)をクラウドネットワークサービスにバックアップしています。私のネットワーク速度はボトルネッキングの要因なので、ファイルサイズを小さくするためにrsync -z(圧縮)を使用すると思っていました。うまくいけば、ボトルネックを軽減できます。rsync圧縮とその動作

とにかく、rsyncを圧縮してrsyncの目的と使い方を調べているうちに、何をしているのか正確にはわからないようです。

rsyncは基本的にデータを圧縮し、転送し、次にデータを圧縮解除するようです。しかし、rsyncがクラウドに送信された後にrsyncがデータを解凍するということは、クラウドサービスがデータを解凍する必要があるので、私にはあまり意味がありません。

私の質問は、圧縮するとrsyncは実際にWebDavやFTPなどのネットワーク経由でネットワークプロトコルに送信されるデータを圧縮して解凍するのでしょうか?それが私を助けない場合、どのようなシナリオで圧縮フラグが私に役立つでしょうか、例えばUSB 2.0上のローカル同期にローカルですか?

+0

などJPEGLZOLZMA/2ZIPGZIP、として圧縮されたファイルタイプを圧縮しないのですか?はい、リモートのrsyncサーバがない場合、それは 'cp'です。内部的にrsyncにはzlibがあります(古代のアルゴリズム、rsyncの変更 - http://code.metager.de/source/xref/rsync/zlib/README.rsyncとgz/zip /のような圧縮ファイル拡張の特別なスキップリスト/ bz2/7zを再圧縮しないようにする)。ドキュメント:http://code.metager.de/source/xref/rsync/doc/rsync.sgml#124 "-z .. @command {zlib}ライブラリの修正版を使用しています。" &https://linux.die.net/man/1/rsync "このプログラムは、Jean-loup GaillyとMark Adlerが書いた優れたzlib圧縮ライブラリを使用しています。 – osgx

+0

あなたのwebdavはマウントされていてローカルフォルダのようです(ローカルフォルダのように動作する可能性があります)。 rsyncのすべての圧縮とデルタメソッドを無効にしてみてはいかがですか(doc-https://download.samba.org/pubの '-W、--whole-fileコピーファイル全体(w/o delta-xferアルゴリズム)') /rsync/rsync.html)? – osgx

+1

私のrsyncコマンドは 'rsync -avzc/source// WebDAV_folder /' – electricjelly

答えて

0

WebDAVフォルダはどこにマウントされていますか?

ローカルマシン上にある場合は、CPUが圧縮するために二重の作業を行い、マウントされたフォルダに書き込む前にすぐに圧縮解除してから、リモートサーバーに転送するため、 WebDAVプロトコルを使用します。

rsynczlibを使用して、転送中の圧縮を行います。差分転送を行っていない場合、scpはファイルディレクトリツリーの変更を比較するアルゴリズム(scpには転送中の圧縮オプションがありません)を使用して、rsyncアルゴリズムのオーバーヘッドが増えるため、パフォーマンスが向上します。

圧縮は必ずしも答えではありません。あなたのネットワークがボトルネックであれば、プロセスのスピードは上がりますが、CPU%が最大になるとプロセスが遅くなります。 (ファイルのこれらのタイプを圧縮におけるパフォーマンスのトレードオフ比が非常に低いため)

rsyncは、あなたのrsyncコマンドは何

+0

"です。rsyncは、LZOアルゴリズムを使用して、転送中の圧縮を行います。それは? doc https://download.samba.org/pub/rsync/rsync.htmlにはzlibがあり、lzoは圧縮ファイル拡張子リストのためにスキップされたリストにのみあります。そして、「このプログラムは優れたzlib圧縮ライブラリを使用しています。また、ローカルのrsyncがクライアントとサーバーの両方を起動して本当にそれらの間でトークンを送信していることを確認しましたか? – osgx

+1

'rsync'は、IPC経由で転送中に圧縮/解凍を行います。これは実質的に 'mv'コマンドである-zフラグがない場合よりもはるかに遅いため、クライアント/サーバの両方を起動してトークンのセットを確立します。単一のプロセスでは動作しません。 'zlib'の使用に関して、私は圧縮アルゴリズム' rsync'の使用を別のプロトコルと混同していましたので、謝罪します。私はこれを反映するために元の投稿を編集しました。 – craidz

+2

私はあなたの答えを理解しているので、ローカルにマウントされたWebDAV上のrsync圧縮は、単純に転送してローカルフォルダに解凍し、最終的にはネットワーク転送に役立たないため何もしません。 – electricjelly

関連する問題