Google App Engineを使用して大きなファイル（http GET）を取得し、Cloud Storageに保存する

リモートサーバから大きなファイル（3〜4 GB）を取得してCloud Storageに保存する必要があるユースケースがあります。私はを手動でにするコードを書く方法を知っていますが、私はこのプロセスを自動化したいと思います。 urlfetchを使用してファイルを取得し、結果をCloud Storageに直接保存するにはどうすればよいですか？Google App Engineを使用して大きなファイル（http GET）を取得し、Cloud Storageに保存する

出典

2016-07-05 seawolf

あなたは[Transfer Service]（https://cloud.google.com/storage/transfer/create-url-list）を検討しましたか？ – mensi

URLFEtchを使用したリクエストは、従来のappengineのフロントエンドリクエストによってサイズが制限されています。 https://cloud.google.com/appengine/docs/python/outbound-requests#quotas_and_limitsこれもオプションではありません。 –

ええ、私はこの記事を書いた後、私が今までに検索したものはすべてかなり小さく、私は間違いなく大きなダウンロードが似ていると思っていたことを発見しました。 – seawolf

@mensiが示唆しているように、これを行う最も簡単な方法は、Transfer Serviceを使用することです。私の特別なケースではうまくいかないでしょうが、一般的なケースではそれは行く方法です。

出典

2017-09-02 22:32:29 seawolf

Google App Engineを使用して大きなファイル（http GET）を取得し、Cloud Storageに保存する

答えて

関連する問題