amazon-data-pipeline

0熱

1答えて

AWSデータパイプラインでEMRクラスターを起動する方法パイプラインフローでのアクティビティの完了後のみ

AWSデータパイプラインフローで1つのマイアクティビティが完了した後でEMRクラスターを起動することは可能ですか？ Redshiftからデータをアンロードします（1時間か1時間かかります）。スタートEMRクラスタように、クラスタを終了し、私は「スタートEMRクラスタ」のような依存関係を持ちたいいくつかの他の活動をすべき実行EMRクラスターにをSPARKジョブを実行します「Redshift

0熱

1答えて

EMRクラスタを自動終了するAWSデータパイプラインオプション

データパイプラインを使用してEMRクラスタをセットアップしましたが、ステップ関数のステータスが完了した後にクラスタが終了しています。私はバックグラウンドでスパークジョブを生成する私のステップ関数でPythonスクリプトを実行しています。データパイプラインサービスを使用してEMRで正常なステップ機能を実行した後で、自分のクラスタを使用できるようにするにはどうすればよいですか？

0熱

1答えて

awsデータパイプラインで複数のs3バケットの前提条件を設定するにはどうすればよいですか？

データパイプラインの前提条件を設定して、s3バケットが存在するかどうかをチェックし、そうでない場合はFAILSをチェックするにはどうすればよいですか？私は1バケツのためにそれを簡単に設定することができますが、私は複数のS3keysをチェックするパイプラインを更新する方法を理解することはできません。は、ここで私がこれまで持っているものです。 { "objects": [ ...

0熱

2答えて

AWS RDS to S3エラー。 "XMLはうまくフォーマットされませんでした"

AMAZON DATA PIPELINEを使用して、特定のデータをRDS（MYSQL）からS3に移行しようとしています。しかし、私はエラーに取得「あなたはよく形成されていない提供またはに対して、当社の公表されたスキーマ（サービス検証しませんでしたXML：アマゾンS3を、ステータスコード：400;エラーコード：不正な形式のXML」 enter image description here en

1熱

1答えて

gzip形式でのDynamoDBのエクスポート

Data Node> S3BackupLocation> CompressionをGZIPに設定して、AWSデータパイプラインを使用してDynamoDBテーブルをエクスポートしました。私は.gz拡張で圧縮出力を期待していましたが、拡張子のない非圧縮出力を得ました。 Further readingは、圧縮フィールドが「Amazon Redshiftでのみ使用可能で、CopyActivityでS3Da

0熱

1答えて

AWS DataPipeline EMRクラスタ（スパークあり）

EMRテンプレートを使用してAWSデータパイプラインを作成しましたが、EMRクラスタにSparkをインストールしていません。そのために特別な行動を設定する必要はありますか？私はいくつかのbootstrapactionはスパークのインストールの必要性を参照してくださいしかし、それも動作していません。

0熱

1答えて

AWS S3をSQLスクリプトからRedshift Copyコマンドに実行する方法は？

コピーコマンドを使用して、S3からRedshiftにいくつかのファイルをコピーしようとしています。私はSQL Workbenchを使用して次のコマンドを使用し、うまくいきました。データをRedshift Tableにコピーしました。 copy <Redshift table name> from 's3://my-bucket/path/to/directory/part' iam_role

0熱

1答えて

RDSインスタンス間のAWSデータパイプライン（MySQL）

AWSでデータパイプラインを構築して、2つの異なるRDS MySQLインスタンス間でデータを転送できますか？転送は1日に1回行われます（必ずしも毎日同じ時刻である必要はありません）。私はあるインスタンスから別のインスタンスに完全なデータセットをコピーすることに興味がありますが、データパイプラインサービスのドキュメントはこの使用例を考慮していないようです。ありがとうございます。