s3で増分データに対してawsグルージョブを実行するにはどうすればよいですか？

Question

最初の日に私はs3のフォルダ1としてデータを保存し、グルーからジョブを実行すると、 私は予想される出力を得ました。 2日目に、同じ親フォルダにフォルダ2としてデータを保存し、グルーからジョブを実行すると、 フォルダ1のデータが複製され、フォルダ2のデータも出力されました。

folder1からのデータの複製を避けるにはどうすればよいですか？

Answer 1

AWSグルージョブでブックマークを有効にしましたか？ブックマークを有効にすると、Glueは既に読み込んでいるものを追跡します。すべてのデータをリロードする必要がある場合は、ジョブメニューに「ブックマークをリセット」オプションがあります。