AWS Postgres RDSテーブルをAWS S3にエクスポート

Question

AWSデータパイプラインを使用してPostgres RDSからAWS S3にデータをパイプしたいと考えました。誰でもこれがどのように行われたか知っていますか？

もっと正確には、データパイプラインを使用してAWS S3にPostgres Tableをエクスポートしたかったのです。私がData Pipe Lineを使用している理由は、このプロセスを自動化したいのです。このエクスポートは毎週1回実行されます。

その他の提案も有効です。

Answer 1

githubにサンプルがあります。ここで https://github.com/awslabs/data-pipeline-samples/tree/master/samples/RDStoS3

コードです： https://github.com/awslabs/data-pipeline-samples/blob/master/samples/RDStoS3/RDStoS3Pipeline.json

Answer 2

は、私が参照としてMySQLおよびドキュメントを使用して最初からパイプラインを構築しました。

このロールは、DataPipelineDefaultResourceRole & & DataPipelineDefaultRoleに配置する必要があります。

私はパラメータをロードしていないので、architechに入り、あなたの資格とフォルダを置く必要があります。

希望します。

{ 
    "objects": [ 
    { 
     "failureAndRerunMode": "CASCADE", 
     "resourceRole": "DataPipelineDefaultResourceRole", 
     "role": "DataPipelineDefaultRole", 
     "pipelineLogUri": "#{myS3LogsPath}", 
     "scheduleType": "ONDEMAND", 
     "name": "Default", 
     "id": "Default" 
    }, 
    { 
     "database": { 
     "ref": "DatabaseId_WC2j5" 
     }, 
     "name": "DefaultSqlDataNode1", 
     "id": "SqlDataNodeId_VevnE", 
     "type": "SqlDataNode", 
     "selectQuery": "#{myRDSSelectQuery}", 
     "table": "#{myRDSTable}" 
    }, 
    { 
     "*password": "#{*myRDSPassword}", 
     "name": "RDS_database", 
     "id": "DatabaseId_WC2j5", 
     "type": "RdsDatabase", 
     "rdsInstanceId": "#{myRDSId}", 
     "username": "#{myRDSUsername}" 
    }, 
    { 
     "output": { 
     "ref": "S3DataNodeId_iYhHx" 
     }, 
     "input": { 
     "ref": "SqlDataNodeId_VevnE" 
     }, 
     "name": "DefaultCopyActivity1", 
     "runsOn": { 
     "ref": "ResourceId_G9GWz" 
     }, 
     "id": "CopyActivityId_CapKO", 
     "type": "CopyActivity" 
    }, 
    { 
     "dependsOn": { 
     "ref": "CopyActivityId_CapKO" 
     }, 
     "filePath": "#{myS3Container}#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}", 
     "name": "DefaultS3DataNode1", 
     "id": "S3DataNodeId_iYhHx", 
     "type": "S3DataNode" 
    }, 
    { 
     "resourceRole": "DataPipelineDefaultResourceRole", 
     "role": "DataPipelineDefaultRole", 
     "instanceType": "m1.medium", 
     "name": "DefaultResource1", 
     "id": "ResourceId_G9GWz", 
     "type": "Ec2Resource", 
     "terminateAfter": "30 Minutes" 
    } 
    ], 
    "parameters": [ 
    ] 
} 

Answer 3

あなたはS3にPostgresのRDSインスタンスからデータを抽出するデータパイプライン・インターフェースでコピーアクティビティを定義することができます。

1. タイプSqlDataNodeのデータノードを作成します。テーブル名を指定してクエリを選択します。
2. ユーザー名、パスワード、データベース名と共に、RDSインスタンスID（インスタンスIDはURLにあります。たとえば、your-instance-id.xxxxx.eu-west-1.rds.amazonaws.com）を指定してデータベース接続を設定します。 。
3. タイプS3DataNodeのデータノードを作成します。
4. コピーアクティビティを作成し、SqlDataNodeを入力として、S3DataNodeを出力として設定します。

もう1つの選択肢は、アロマのような外部ツールを使用することです。 Aloomaは、PostgreSQLデータベースのホストしているAmazon RDSのテーブルをAmazon S3に複写することができます（https://www.alooma.com/integrations/postgresql/s3）。このプロセスは自動化でき、週に1回実行することができます。