大規模なファイルをAWS S3にアップロードする30秒のリクエストタイムアウト無しにHeroku上でDjangoを使用する

Question

ユーザーにビデオをアップロードできるdjangoアプリがあります。 Heroku上でホストされ、アップロードされたファイルはS3バケットに格納されます。 私はJavaScriptを使用して、Djangoアプリケーションからの予約済み要求を取得した後、S3にファイルを直接アップロードしています。これは、Herokuの30秒のリクエストタイムアウトによるものです。 JavaScriptを使用せずにユーザーエクスペリエンスを損なうことなく、大規模なファイルをDjangoバックエンド経由でアップロードできる可能性はありますか？

Answer 1

問題の解決方法については、以下の点を考慮する必要があります。計算能力と帯域幅の両方の無駄があるS3に送信し、サーバーをDjangoのためにファイルを送信：

• はなぜあなたのファイルをS3に行き、あなたのジャンゴ・サーバーに来るべきではありません。次に、あなたがs3ストレージに直接送ることができるときにファイルをdjangoサーバーに送る理由が次にあります。
• UXを危険にさらすことなくファイルをs3にアップロードする方法：ファイルをdjangoサーバに送信することは、確かにオプションではないので、フロントエンド側でこれを処理する必要があります。しかし、フロントエンド側には限られたメモリのような独自の制限があります。非常に大きなファイルを扱うことはできません。すべてがRAMにロードされ、非常に大きなファイルの場合にはブラウザが最終的にメモリ不足になるからです。 dropzone.jsのようなものを使用することをお勧めします。メモリの問題は解決しませんが、プログレスバー、ファイル数などを表示するような良いUXをユーザーに提供できます。

Answer 2

他の回答のポイントは有効です。 「JavaScriptを使用せずにDjangoバックエンドを使って大容量のファイルをアップロードすることができますか」という質問への短い答えは、「Herokuからの切り替えなし」であるということです。

ダイノスに送信されるデータはすべて、Herokuのルーティングメッシュを経由します。これは、独自の有限リソースを節約するために30秒の要求制限を適用するものです。任意の種類の長時間実行されるトランザクションは、他の要求を処理するために使用できる帯域幅/計算/などを使います。したがって、Herokuは何千ものダイノスを移動するのに役立つ制限を適用します。ファイルをアップロードするときは、まずクライアントの帯域幅によってサーバーに制約されます。次に、dynoとS3の間の帯域幅によって、dynoが実際に処理する処理の上に制約が課されます。

ファイルが大きいほど、特に信頼性の低いネットワーク上のクライアントの場合は、ステップ1で30秒のタイムアウトを超える可能性が高くなります。クライアントからS3へのダイレクトパスを作成することは合理的な妥協点です。