毎日AWS s3 CLI経由でファイルを取得する必要があります。--includeを使用してAWS CLIを使用して特定のファイルをプル
私はこれを80個のファイルに対して行っていますが、私はそれを解決する動的な日付以外に静的な情報を持っていますが、今は新しいタイプを導入しています。新しいタイプの ファイル名:
ACR_{{randomInt}}_YYYY_MM_DD_ThiFil.csv
は現在、私は昨日の%%として、昨日の日付を保存するためのバッチファイルを使用して、これはこれが理由の作品
aws s3 cp s3://~~~directorystuff/ACR_StaticInfo_%yesterday%_ThiFil.csv C:\localDirStuff~~~\ACR_StaticInfo_%yesterday%_ThiFil.csv
を行うことで動作します静的情報randomInt(私は最終的なファイルにも存在する必要があります)には問題があります。私はAWS SLIがワイルドカード機能の欠如を置き換えるために--includeを使用することを知っていますが、試してみる度にstream is not seekable
を取得します。
私が現在行っていること - スケーラブルではありません - 私は再帰的にディレクトリ全体をプルし、今日からではないすべてを削除します。 I 嫌いこの方法は全くスケーラブルではありません。
AWS CLIを使用して、必要なファイルのみを取得する方法を具体的に説明します。
注:randomInt
は毎週変更され、毎日は30-40種類のものがあります。そのため、それぞれを引き出すためにフィルタリングすることができません。
更新
は、私はまた、 aws s3 cp C:\localDir\ s3://remoteDir --include "2017-10-12"
を試みたと私はまだ--recursive使用と一緒に--include、この投稿に同様のロジックに続いstream is not seekable