amazon-data-pipeline

1熱

2答えて

AWSデータパイプラインを使用して、S3からRedshiftにいくつかのCSVデータをインポートしています。また、コピーアクティビティが完了した後、すべてのS3ファイルを削除するためにShellCommandActivityを追加しました。私は全体のプロセスで画像を添付しました。すべてが正常に動作しますが、それぞれの活動は、それが自分のEC2インスタンスの起動します。コピーコマンドが完了した後、

0熱

1答えて

AWSデータパイプラインのShellCommandActivity

データパイプラインを使用してDynamo DBデータをS3に転送しています。 S3バケットではバックアップが取れますが、複数のファイルに分割されています。次のコマンドを実行し、私はシェルコマンドのアクティビティを使用し、単一のファイルにデータを取得するには： aws s3 cat #{myOutputS3Loc}/#{format(@scheduledStartTime,'YYYY-MM-dd')

0熱

1答えて

S3からRedshiftへのAWSデータパイプラインコピーログデータ

S3からRedshift ClusterにいくつかのCSVログデータをインポートするためのAWSデータパイプラインをセットアップしました。私の赤方偏移のデータベーステーブルには、以下の構造を有する：ここでは CREATE TABLE access_log ( id bigint identity(1, 1), host character varying(64),

0熱

1答えて

AWSDataPipelineの内部エラーメッセージ

単純なRDSからS3へのコピーアクティビティを持つパイプラインをt1.microインスタンスで実行し、「内部エラーが原因でリソースを作成できませんでした」というメッセージで失敗しました。スクリーンショットを参照してください： (Screenshot of failure message) （利用可能なログはありません）（スクリーンショットのように）どのように私はこれをデバッグすることができます上の