すべてのAWSデータパイプラインアクティビティで同じEC2インスタンスを使用

Question

AWSデータパイプラインを使用して、S3からRedshiftにいくつかのCSVデータをインポートしています。また、コピーアクティビティが完了した後、すべてのS3ファイルを削除するためにShellCommandActivityを追加しました。私は全体のプロセスで画像を添付しました。

すべてが正常に動作しますが、それぞれの活動は、それが自分のEC2インスタンスの起動します。コピーコマンドが完了した後、ShellCommandActivityがRedshiftCopyActivityと同じEC2インスタンスを再利用する可能性はありますか？

ありがとうございました！

Answer 1

同じEC2インスタンスでShellCommandActivityを実行するには、Architectを使用してShellCommandActivityを編集し、Runs OnオプションでEc2Instanceを選択しました。 ShellCommandActivityは、RedshiftCopyActivityと同じEC2Instanceに自動的にマップされます。今、全体のプロセスは次のようになります。

ありがとうございました！

Answer 2

シェルまたはCLIですべてのアクティビティを実行できない限り、同じインスタンス内ですべてを行うことはできません。

私が与えることのできる1つの提案は、新しいテクノロジに移行することです。 AWSデータパイプラインは古くなっています（4歳）。あなたは、あなたが支払っているものの一部を費やすAWS Lambdaを使用する必要があります。ファイルがS3にアップロードされるとすぐにRedshiftにファイルを読み込むことができます。クリーンアップは自動的で、ラムダはAWS Data Pipelineよりもはるかに強力です。チュートリアルA Zero-Administration Amazon Redshift Database Loaderはあなたが望むものです。はい、学習曲線がありますが、タイトルに示されているように、管理負荷はゼロです。