あるAWS S3フォルダから別のAWS S3フォルダにZIPファイルをコピーする必要があり、スケジュールされたAWS Glueジョブを作成したいとします。私はそのような簡単な作業の例を見つけることができません。あなたがその答えを知っていれば助けてください。答えはAWS Lambdaや他のAWSツールにあるかもしれません。AWS Glueを使用して、あるS3フォルダから別のS3フォルダにファイルをコピーできますか?
ありがとうございました!
あるAWS S3フォルダから別のAWS S3フォルダにZIPファイルをコピーする必要があり、スケジュールされたAWS Glueジョブを作成したいとします。私はそのような簡単な作業の例を見つけることができません。あなたがその答えを知っていれば助けてください。答えはAWS Lambdaや他のAWSツールにあるかもしれません。AWS Glueを使用して、あるS3フォルダから別のS3フォルダにファイルをコピーできますか?
ありがとうございました!
私はあなたがグルーでそれを行うことができると思いますが、CLIを使用する方が簡単ではないでしょうか?あなたは、次の操作を行うことができ
:
aws s3 sync s3://bucket_1 s3://bucket_2
グルーを使用する理由は、それがジョブになる可能性があり、ジョブの複雑さによって、他のジョブがトリガーされる可能性があるからです。 – Jie
私は100%確実ではありません。 Glueは、抽出のためにデータベースをAWSにクロールするETLツールの多くです。 Data Pipelineを見たことがありますか? http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-copyactivity.html –
AWSの担当者は、データパイプラインがGlue ETLのために段階的に段階的に廃止される可能性があることを最近教えてくれました。私はそれらを選択しなければならない場合、公式がどのような公式であるかわからないが、おそらく私は接着剤ETLと一緒に行くだろう、AWSはその長期的な投資をする可能性が高いようだ。 – Nathan
あなたは接着剤でこれを行うことができますが、それは仕事のための適切なツールではありません。
もっと簡単なのは、S3 created-objectイベントによってトリガーされたラムダジョブを持つことです。この(ほぼ)この正確なことを行う上でAWS Docsに関するチュートリアルもあります。
http://docs.aws.amazon.com/lambda/latest/dg/with-s3-example.html
我々はすべてを行うためにDatabricksを使用して終了しました。
接着剤が準備されていません。それは意味をなさないエラーメッセージを返します。チケットを作って5日間待っても返事がない。
費用も考慮したいと思います。 Glueジョブは最低10分のランタイムを課金しますが、ラムダは100msほどの料金を請求します。 – earmouse