AWS Datapipeline - s3バケットの無作為に名前を付けられたファイルをRedshiftにインポート

Question

いつでも新しいファイルがs3フォルダに表示され、RedshiftCopyActivityでRedshiftでインポートすることができます。私はs3からRedshiftにデータを移動できるパイプラインセットアップを持っていますが、特に名前が付けられたファイルがあります。ただし、この場合、ファイル名はランダムにすることができます。私たちは、S3フォルダS3を持って

• セイのようなものを考えています：// toProcess
• 時間ごとのデータパイプラインジョブをチェックS3で新しいファイルがある場合：
• //があるtoProcess場合は、これらは処理され、削除されます（したがって、次の1時間に処理されません）

これを行う方法についてのご意見はありますか？

Answer 1

新しいAWS Data Pipelineを作成する場合、定義済みのテンプレートを使用するオプションがあります。あなたが必要とするもののために、Load Data from S3 Into Redshiftテンプレートはあなたのところでほとんどの方法を取得する必要があります。これらのファイルを削除するには、described hereのようなアクティビティを追加する必要があります。