オブジェクト[10億以上のオブジェクトを持つバケットの場合]をリストする際に、AWS S3 V2 Java APIの上限を1000に変更するにはどうすればよいですか？

Question

私はAmazon S3バケットから10億以上のオブジェクトを持つキーをダウンロードする必要があるプロジェクトに取り組んでいます。私はJava V2 APIを使ってコードを書いたが、一度に1000個のキーしかダウンロードしないので、役に立たない。このバケットからすべてのキーのリストを取得するには数日かかります。すべてのキーのリストを取得する方法はありますか？

このトピックに関する他の回答を確認しても役に立ちませんでした。

ありがとうございました

Answer 1

多くのオブジェクトで同じ問題が発生しました。

パターンタイムスタンプに続いてオブジェクト名が10ずつ増えました。それはあなたのを反復処理するとき

s3://bucket-name/timestamp/actualobject.extension 

Eg., 
s3://mys3bucket/1506237300/datafile001.json 

が、私は15分刻みのため、各タイムスタンプのために実行する並列スレッドを持っており、すべてが非常に速く読まれた、このようになります。

解決する重要な方法は、それらのオブジェクトの格納に使用したパターンを見つけ出し、それらのパターンに基づいてオブジェクト名を一覧表示することです。

希望します。