2
私は他の人に私のデータを送信するためにキネシスのホースを設置しました。時にはデータが時折不正な形式になることがあることに気付きました。不正な形式のドキュメントがETLを適切に赤信号に変換できない - 中間のFirehose S3バケットに残ってしまい、STL_LOAD_ERRORSテーブルを参照してスパムのエラーメッセージを生成し続ける。kinesis firehose s3 bucketからバグのある文書を安全に削除するにはどうすればいいですか？
問題のあるレコードをS3バケット？または不正な形式のレコードをクリーンアップする他の安全な方法はありますか？
- 私はすでに、単にS3からの不正な形式のレコードを削除しようとしました
注意。これはKinesys Firehoseを無限ループに入れ、「Redshiftに必要なS3ファイルがS3バケットから削除されました」というメッセージとともにエラースパムを生成するようです。私の知る限り、このスパムは最終的に停止するはずですが、私の実験では壊れずに継続しているようです。