amazon-data-pipeline

1熱

2答えて

AWSデータパイプラインを使用してDynamoDBにインポートするために必要な形式にCSVを変換

データパイプライン（https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part1.html）を使用してS3からDynamo DBテーブルにデータをインポートするAWSドキュメントは、S3ファイル（s3：// elasticmapreduce/samples/Store/Product

0熱

1答えて

Amazon Data Pipelineの名前の参照方法は？

Amazon Data Pipelineの名前をData Pipeline自体の変数として使用できますか？はいの場合、どうすればいいですか？

1熱

2答えて

S3ライフサイクルアクションには事前条件がありますか？

私は、毎日外部システムから入ってくるバケットで受け取られる2つのデータファイルを読み込むAWSデータパイプラインアクティビティを持っています。データパイプラインはこれらのデータをデータベースにインポートします。データパイプラインアクティビティの処理が終了したら、これらの2つのファイルをアーカイブバケットの場所に自動的に移動したいが、これはデータパイプラインが正常に完了した場合にのみ実行する必要があ

0熱

1答えて

Datapipeline and Mule

AWSSDK for Datapipelineと互換性のあるMULEのバージョンは、DatapipelineからEnterprisesバージョンのMuleをアクティブにする必要があります。クラウド以来、我々は3.6から任意のミュールバージョンを使用することができます。助けてください。現在、JarバージョンではNoSuchmethodエラーやField not foundなどの問題が発生しています。

2熱

3答えて

AWS Postgres RDSテーブルをAWS S3にエクスポート

AWSデータパイプラインを使用してPostgres RDSからAWS S3にデータをパイプしたいと考えました。誰でもこれがどのように行われたか知っていますか？もっと正確には、データパイプラインを使用してAWS S3にPostgres Tableをエクスポートしたかったのです。私がData Pipe Lineを使用している理由は、このプロセスを自動化したいのです。このエクスポートは毎週1回実行され

2熱

1答えて

AWSデータパイプライン - 失敗したアクティビティを再実行しようとするとエラーが発生する

私のデータパイプラインには、プログラム上の問題が原因で失敗したアクティビティが多数あります（Shellcommandactivity）。しかし、私はプログラムの問題を修正した後、失敗したアクティビティを再実行しようとします。 &再実行モードは - カスケード&スケジュールタイプはオンデマンドです。私は以下のエラーを取得与えられた入力が有効ではありません。（ステータス「再実行」は、完成したオブジェ

0熱

2答えて

自分のEC2インスタンスでShellCommandActivityを実行するにはどうすればいいですか？

簡単なコマンドを実行してAWCからのデータパイプラインでShellCommandActivityをテストしようとしています。スクリプトはS3上のファイルを作成する必要があります >>> /usr/bin/python /home/ubuntu/script.py 、私は同じデータパイプラインを使用してS3のファイルを作成することができます知っているが、私は、スクリプトを実行する方法をテストした

0熱

2答えて

日付/日に基づいてDynamodbをアーカイブします

私はdynamodbテーブルをアーカイブし、90日間のみデータを保持したいと思います。私は90日を追跡するのに使うことができるテーブルの中にrecords_onというフィールドを持っています。データパイプラインを見ると、EMRが必要ないので、EMRで過度の過労と思われます。これを行うためのよりよい方法はありますか？ 1. Cronjob that will continue to run ever

1熱

1答えて

（workergroupを使用して）既存のEMRクラスタにHiveActivityを実行するエラー

これは誤りである：AmazonServiceException：AmazonElasticMapReduce：AccessDeniedException ユーザー：ARN：AWS：IAM :: 833376745199：ActivityFailed ユーザ/ data_analyticsではありません実行する権限があります：elasticmapreduce：DescribeCluster（サービス

1熱

1答えて

AWSのdatapipelineコピーはCommunicationLinkFailure

で失敗 I S3にRDSからデータをコピーとは、すべての15 minute.Itを実行AWSデータパイプラインは、罰金実行されますがエラーで断続的に失敗してい接続を確立できませんmysqlの：JDBCに//host.us-west>通信1.rds.amazonaws.com:3306/dbリンク障害私は私のMySQLサーバの設定をチェックし、それが正常に見えます。 wait_timeout |