シナリオ:プロジェクトチームメンバーがアクセスできる複数のフォルダと多数のファイルがストレージバケットに保存されています。一度に1つずつ個別のファイルをダウンロードするのではなく(それは非常に遅くて時間がかかる)、フォルダ全体をダウンロードする方法はありますか?または少なくとも複数のファイルを一度に?コマンドコンソールの1つを使用せずにこれは可能ですか?チームメンバーの中には技術に精通しておらず、できるだけシンプルにこれらのファイルにアクセスする必要があります。何か助けてくれてありがとう!Google Cloud Storageで複数のファイルをダウンロードする方法
答えて
gsutilを使用することをお勧めします。 GCSのAPIは、一度に1つのオブジェクトのみを処理します。しかし、そのコマンドラインユーティリティgsutil
は、複数のオブジェクトを並行してダウンロードすることができます。 gsutilのと全体GCS「フォルダ」をダウンロードすると、非常に単純です:私はgsutil
を使用してファイルをダウンロードすることをお勧め
$> gsutil cp -r gs://my-bucket/remoteDirectory localDirectory
こんにちは、ちょうどコンテンツのために、これをPython API経由で行う方法はありますか?私はget_media(REST APIのalt = media)関数を発見しましたが、何千ものファイルをループするのに時間がかかります。ある接頭辞の下にあるものすべてをすぐに得ることができるのは本当にクールです。 – Carlos
いいえ、申し訳ありません。リスト呼び出しの結果をループするのは、複数のスレッドを使用する点を除いて、 'gsutil'とまったく同じです。 –
。しかし、あなたはパラレル(マルチスレッド/マルチプロセッシング)のコピーを実行するために、gsutilの-m
オプションを使用する場合があります転送するファイルの数が多いがある場合:ファイルをダウンロードするための
gsutil -m cp -R gs://your-bucket .
を時間短縮かなり重要なことがあります。 GCS cp
コマンドの詳細については、Cloud Storage documentationを参照してください。
- 1. Google Cloud Storage(node.jsを使用)から複数のファイルをダウンロード
- 2. Google Cloud Storage Forceダウンロード
- 3. Google Cloud Storageバケットからファイルをプログラムでダウンロードする
- 4. Google Cloud Storageで100万個のファイルを連結する方法
- 5. Google Cloud Storageでファイルをマージする
- 6. Google Cloud StorageからPHP経由でファイルをダウンロード
- 7. Google Cloud StorageからJavaでファイルを読み取る方法
- 8. Google Cloud Storage検索ファイル
- 9. Google Datalab)Google Cloud Storageに存在する複数のcsvファイルをpandas read_csv()に読み込む方法は?
- 10. Google Cloud StorageからZipファイルを読み取る方法
- 11. Google Storageからファイルの一部をダウンロードする方法
- 12. Google Cloud Storage - com.google.appengine.api.appidentity.AppIdentityServiceFailureException
- 13. Google Cloud Storageドメインロック
- 14. Google Appengine Cloud Storage
- 15. アンドロイドアプリのGoogle Cloud Storage
- 16. Google Cloud Storageのカスタムエラーメッセージ
- 17. Google Cloud Storageでバケットのライフサイクルを設定する方法
- 18. Google Cloud Storage内に複数のファイルのスペースを入れ替えます
- 19. BlobKeyからGoogle Cloud Storageファイルを取得
- 20. Google Cloud Storageでファイルをプレビューする方法はありますか?ファイル全体をダウンロードせずに最初の数行を見る方法?
- 21. クラウドMLエンジンのトレーナーアプリケーションからGoogle Cloud Storageファイルをダウンロードできません
- 22. Google Cloud Storageで画像/動画を圧縮する方法create_upload_url
- 23. データフローパイプラインでgoogle cloud storageを使用する方法
- 24. Google Cloud StorageとSFTP
- 25. PySpark + Google Cloud Storage(wholeTextFiles)
- 26. 複数のファイルをGoogle Cloud Storageから単一のPandasデータフレームに読み込む
- 27. 複数のGoogle Cloud Storageバケットにデータを書き込む
- 28. チェックサムコントロール付きJavaを使用してGoogle Cloud Storageから大きなファイルをダウンロードする方法
- 29. firebaseクラウド関数Google Cloud StorageのAPIエラー
- 30. PythonスクリプトからGoogle Cloud Storageにバイトイメージをアップロードする方法
どのようにダウンロードしていますか? UIを通して? – jterrace