マウントされたAWS S3ドライブとマウントされたEBSドライブを使用する場合、どのような制限がありますか？

Question

ウェブからアクセス可能なファイルにAWS S3ストレージを使用し、amazon-linux EC2でローカルに実行されている検索エンジンによってインデックスを作成したいと考えています。私は、より多くのファイルを追加するとストレージ容量が無制限になるため、より伝統的なEBSドライブではなくS3を使用したいのです。つまり、このデータが1TBを超えると追加のEBSドライブをマウントする必要はありません（最大EBSドライブサイズ）。

S3FSを使用してドライブをマウントしています。

複数のEBSドライブをマウントしてそこにファイルを保存すると、このシステムにはどのような制限がありますか？アクセス時間にかなりの遅延がありますか？特に、マウントされたS3ドライブから何百万ものファイルを検索エンジンでインデックス登録すると、このマシン上のスクリプトを使用してこれらのファイルにアクセスして操作する他の問題に遭遇しますか？

S3は、長期間のストレージ/バックアップとウェブサイトへのファイルの配信を目的としているようです。

Answer 1

EBSは高性能でレイテンシが低く、データベースなどに適しているため、「伝統的」です。たくさんのファイルを格納しているだけなら、S3はうまくスケーラビリティがあります。レイテンシが少し増加するため、インデックス作成が遅くなることがありますが、インデックス作成者がインデックス作成を並列化できる場合は、それほど重要ではありません。 EBSボリュームを使用して索引自体を保管したり、索引をRAMに保管したりすることをお勧めします。そうしないと、アプリケーションの処理に多大な負担がかかります...しかし、使用方法によって異なります。いくつかの実験を行います。