最新の接頭辞ごとにS3オブジェクトのキー名を照会する方法はありますか？ S3バケットで

Question

は、私がダウンプレフィックスと番号に来る構造を持つ名前で保存されたファイルの数千人と数千人を持っている：与えられたプレフィックスの

A-0001 
A-0002 
A-0003 
B-0001 
B-0002 
C-0001 
C-0002 
C-0003 
C-0004 
C-0005 

新しいオブジェクトが変化する周波数で来るかもしれませんが、必要がありますない。古いオブジェクトは消えるかもしれません。

すべてのプレフィックスのうち最も高い数のS3を効率的にクエリする方法はありますか。私が望む結果は次のとおりです：

A-0003 
B-0002 
C-0005 

S3 API自体は、それに使えるものを提供していないようです。しかし、おそらく別のサービス、アテナのように、それを行うことができますか？これまでのところ、私はオブジェクト内で検索することしかできませんでしたが、私が気にするのはキー名です。バケット内のオブジェクトの内容を報告できる場合は、バケット自体ではできませんか？

私は接頭辞ごとに最新の修正日を付けても問題ありませんが、これを達成するために接頭辞だけを付けてバージョン管理されたバケットに切り替える必要はありません。

Answer 1

S3 API自体は、それに使用できるものを提供していないようです。 しかし、おそらく別のサービス、Athenaのように、それを行うことができますか？

現時点では、AWS S3でしか実行できません。 Athenaを使用しても、コンテンツを照会するためのファイルは通過しますが、Athenaの標準SQLサポートを使用する方が簡単になり、照会が並行して実行されるので高速になります。

これまでのところ、オブジェクト内での検索は可能でしたが、 気になるのはそのキー名だけです。

AthenaとS3 Selectは、どちらもコンテンツではなく、キーで照会します。

私がお勧めできる最善のアプローチは、AWS DynamoDBを使用してファイルのメタデータを保存し、より高速なクエリができるようにすることです。

Answer 2

私は、これはあなたが探しているものだと思う：

変数名は$パスであり、あなたが正規表現あなたが照会されているパターンを取得することができます...

regexp_extract（SP "$パス。 "、" ['/' + $ '）concat（'％ '、キャスト（現在の日付 - varcharとして1日）、'。CSV '））