GnuPGとGNU並列を使用して大容量ファイルの並列暗号化を行う方法は？

Question

私は、 をアーカイブするための並列圧縮/暗号化バックアップスクリプトを、GNU parallel、xz、およびGnuPGを使用して作成しようとしています。コア部分のスクリプトのは、次のとおりです。

GnuPGの暗号化なしで

tar --create --format=posix --preserve-permissions --same-owner --directory $BASE/$name --to-stdout . \ 
    | parallel --pipe --recend '' --keep-order --block-size 128M "xz -9 --check=sha256 | gpg --encrypt --recipient $RECIPIENT" \ 
    | pv > $TARGET/$FILENAME 

、それは素晴らしい（解凍してuntarした作品）、 を動作しますが、並列暗号化を追加した後、以下のエラーで復号化するために失敗しています：

[don't know]: invalid packet (ctb=0a) 
gpg: WARNING: encrypted message has been manipulated! 
gpg: decrypt_message failed: Unexpected error 
: Truncated tar archive 
tar: Error exit delayed from previous errors. 

圧縮されていないサイズはgnu parallelのブロックサイズ（約125M）と同じであるため、GnuPGが部分ブロック暗号をサポートしていると考えています。どうすればこの問題を解決できますか？

---

FYI

乱数生成についてのもう一つの並列のgpg encrption問題

https://unix.stackexchange.com/questions/105059/parallel-pausing-and-resuming

Answer 1

パック

tar --create --format=posix --preserve-permissions --same-owner --directory $BASE/$name --to-stdout . | 
    parallel --pipe --recend '' --keep-order --block-size 128M "xz -9 --check=sha256 | gpg --encrypt --recipient $RECIPIENT;echo bLoCk EnD" | 
    pv > $TARGET/$FILENAME 

開梱

cat $TARGET/$FILENAME | 
    parallel --pipe --recend 'bLoCk EnD\n' -N1 --keep-order --rrs 'gpg --decrypt | xz -d' | 
    tar tv 

一度に1つのレコードを確実に渡すためにはが必要です。 GnuPGは、複数のマージされたレコードの解読をサポートしていません。

Answer 2

のGnuPGは、複数の暗号化ストリームを連結し、一度それを解読サポートしていません。複数のファイルを格納し、個別に解読する必要があります。私が間違っていないと、あなたのコマンドはGnuPGのすべての並列インスタンスの出力を混ぜ合わせるので、多かれ少なかれランダムなガベージになります。

とにかく：GnuPGも圧縮を処理し、--compression-algoオプションを見てください。 xzを使用する場合は、--compression-algo noneを適用してください.GnuPGは既に圧縮されたメッセージを再度圧縮しようとしません。暗号化にはCPUの命令が大量にサポートされていますが、xz -9は実際には暗号化より時間がかかることがあります（これはベンチマークしませんでしたが）。

Answer 3

that's mainly a gpg issue. gpg does not support multithreading and probably never will. you can search the web about the why.

---

it even got worse with gpg v2: you cannot even run multiple gpg v2 instances in parallel because they all lock the gpg-agent which is now doing all the work........ maybe we should look for an alternative when doing mass encryption.

https://answers.launchpad.net/duplicity/+question/296122