2016-06-02 5 views
1

私はtar-xfを使用して圧縮を行っているときにsample.tgz内に何千(約20000)ものファイルがあります。私が考えているアプローチは、-Tオプションを使用して.tgzファイル内のファイルのすべての名前を取得し、次に500個のファイル名のバッチで並行してtarを実行するというアプローチです。tarクエリ:.tgzファイルの多くのファイルを高速化する方法

誰かがより良いアプローチを提案してもらえますか?私はpigzのような他のユーティリティここでしかタールを使用する必要がないことに注意して平行してくださいなど

同様に、誰もが速く、それを圧縮する手法を提案することができれば、それは希望また助けてください。

また、私のsample.tgzファイルには.tgzファイルがありません。

+0

サンプルの大きさはどのくらいですか? – Cyrus

+0

高速なハードディスクまたはSSDを入手してください。 – duskwuff

+0

@Cyrus:その周り約8MB – akjlab

答えて

0

Tarballはリニアアーカイブです(名前が付けられたメディアを模倣し、テープARchive)ので、解凍するまではうまく並列化しません。 LZ4などのアルゴリズムを使用して圧縮解除処理を高速化すると、いくつかの助けになりますが、gzipで圧縮されたtarballを使用すると、gzipではなくgzipの代わりにpigzを使用して、 .tarファイルを開き、そこからファイルを展開します。

関連する問題