クラウドストレージ：フォルダ内のすべてのファイルをバケットから削除するgs：// <bucket> /path/to/directory/2017-{01..07}*

Question

gs：///パス/以下のファイルが8億件あります削除する/directory/2017-{01..07}*、この再帰的

$ gsutil -m rm -r gs://<bucket>/path/to/directory/2017-{01..07}* 

bashの下に実行それがgsutil -m rm -r gs://<bucket>/path/to/directory/2017-01* gs://<bucket>/path/to/directory/2017-02* gs://<bucket>/path/to/directory/2017-03* ... gs://<bucket>/path/to/directory/2017-07*

に展開するだろうが、それは550/sでの削除の速度を示して削除するマルチスレッドを使用;だから、800万のファイルをすべて削除するには16日必要ですが、遅すぎるのでしょうか？

Answer 1

複数のマシンに処理を分散することができます。例えば、そう

• machine1にはgsutil -m rm -r gs://<bucket>/path/to/directory/2017-01*
• machine2ではないんスクリプトを持ってgsutil -m rm -r gs://<bucket>/path/to/directory/2017-02*
• など、あなたに〜12倍のスピードアップを与えるだろう

。 さらに多くの方法で削除するデータを破棄すると、さらに高速化できます。