メッセージキューを介して画像（または大きなファイル）を送信する

Question

私が達成しようとしているのは、メッセージキューを通じた画像のアップロードを処理する最もシンプルなシステムを構築することです。

現在、私たちは一時ファイルを扱っています.Aws S3で送信する必要がある画像ごとに1つ作成し、必要に応じて最適化/カスタマイズします。すべてが完了したら、それをS3にプッシュします。

現在のところ、これはうまくいきますが、画像のBase64エンコーディングを使用してファイルシステムのオーバーヘッドを取り除き、アプリケーションが動作しているシステムから完全に切り離されるようにします。

我々はアマゾンSQS（私たちは現在、生産にBeanstalkdを使用）を使用しようとしているので、ペイロードの256KB以上がキューを介してプッシュするために、彼らのサービスは許可していない、とイメージはかなり重いので、これは問題です。

まだ解決策はありますか？

Answer 1

適切なメッセージサイズ、この場合は256Kbにファイルを分割し、適切なシーケンス番号でメッセージにタグを付けてキューに入れることができます。もう一方の端では、メッセージを受信して​​順番にメッセージを再アセンブルし、ファイルに書き込むか、イメージデータをソリューションの次の段階にプッシュします。