2016-12-02 17 views
1

今、私は、メディアストリームを受け入れて、mp4ファイルに記録し、s3にアップロードするサーバを持っています、並行性レベルが高いとき、s3アップロード私がIOを監視したとき、CPUコストがIOと一緒にs3に変更され、IO(出力)レートが安定していないことも分かりました。aws s3のアップロードの最適化、java sdkを使用して

私はs3へのアップロード速度を制御するために使用できるいくつかの方法がありますか?たとえば、この2秒目のIOレートが高すぎる場合、私はそれを遅くするので、1秒ごとに合計ファイルを分割することができます。また、CPUコストを下げることが可能かどうかも疑問です。

誰かが私を助けてくれてありがとう、貧しい私の英語のために私を許して欲しいです。

答えて

1

AWS S3では、私が認識している転送を遅くするための解決策はありませんが、multipart uploads(中文)を使用して、複数の同時ストリームに分割することができます。これにより、アップロードをより管理しやすくすることができます。

このテクニックは、5MB未満のファイルには使用できません。各アップロード部分は少なくとも5MB以上必要です(最後の部分を除く)。 sqlbotをあなたがファイル<5メガバイトのための技術を使用することはできません)

(你的英文很好、我可以懂你)

+0

を補正するために - @michaelに感謝します。それは動作しますが、<5MB未満のファイルは1つの部分でのみアップロードできるため、オーバーヘッドが増えます。 100 KBはどこで確認できましたか? –

+0

あなたは正しいです。私は何とか私のワイヤーが交差していました。私は答えを更新しました。ありがとうございました! – otakumike

+0

ありがとう、私はこれまでに試してみましたが、この方法では、アップロードが完了したときに私が気づくことができないことがわかりました(私はS3ProgressListenerを使ってアップロードが完了したかどうかを知ることができます。すべてのセグメントが転送されたときに転送イベントがTRANSFER_COMPLETED_EVENTに変更され、1つのファイルの総数がわからない場合)、どうして私が中国人であるかを知ることができますか(私の名前は^ _^..) ? –

関連する問題