amazon-data-pipeline

0熱

1答えて

長時間実行しているEMRクラスタを使用したい場合は、その後にデータパイプラインがそのクラスタで何かをやっているように設定したいのですが、このEMRクラスタにタスクランナーをインストールする必要がありますか？または多分タスクランナーはプレインストールされますか？他にも簡単な方法がありますか？

0熱

2答えて

AWS DatapipelineのPythonスクリプトでRedshiftデータベースのパスワードを提供するには？

私はRedshiftを使用しており、レポートを生成するためのカスタムスクリプトを作成する必要があります。カスタムロジックを実行するためにAWS datapipeline CustomShellActivityを使用しています。私はpythonとboto3を使用しています。私は、最も安全な方法と実際には、pythonスクリプトでデータベースのパスワードを提供するベストプラクティスが何であるか疑問に思

1熱

1答えて

AWS DynamoDB - データパイプラインの実際の書き込み容量の消費

S3からデータをプルして、それをDynamoDBにプッシュするデータパイプラインを作成しました。パイプラインがを正常に実行し始めました。。書き込み容量を20000単位に設定しましたが、数時間後に書き込みが半減しましたが、現在は書き込み容量は3単位です。（書き込み容量は変更されませんでした。パイプラインは3台に減少し、このレートで動作し続け、しきい値で開始）減少の理由で何ができますか？それを

1熱

1答えて

AWSデータパイプラインで構成されたEMRクラスタでスパークが実行されています

誰かが助けてくれますか？私はこれを正確にやろうとしています。 AWSコンソール内のデータパイプライン構成内からSparkインストールを使用してEMR環境を作成することはできません。私は 'EMRクラスタ上でジョブを実行する'を選択すると、EMRクラスタは常にスパークではなくデフォルトとしてPigとHiveで作成されます。私がここで言ったように私は、ブートストラップアクションとしてスパークを選択す

3熱

1答えて

Amazonの日付パイプラインを使用してS3バケットをバックアップする - 既存のファイルをスキップし、不要な上書きを避ける方法？

私はAmazonの日付パイプラインを使用してコピーし、S3バケットを別のバケットに使用しています。これはかなり簡単な設定で、夜間に実行されます。しかし、それ以降のすべての実行で同じファイルが何度もコピーされます - 私はむしろ、既存のファイルをスキップし、新しいものだけをコピーします。このバックアップは将来かなり大きくなるでしょう。これを行う方法はありますか？

2熱

1答えて

AWS Data Pipelineを使用してCSV/TSVファイルに列ヘッダーを作成しますか？

AWVデータパイプラインを使用してCSV & TSVファイルを作成しています。ファイルは正常に作成されていますが、列ヘッダーを使用してファイルを作成する方法を理解できません。最初は、エクスポートを実行するために実行しているSQLクエリに基づいてヘッダを自動的に生成することを期待していました。それはうまくいかなかったが、大丈夫だった。次に、DefaultDataFormat3フィーチャー/ノード

0熱

1答えて

AWSデータパイプライン - "rds mysqlテーブルをs3にフルコピー"パラメータに接続文字列がありませんか？

私は現在、RDSからS3にデータをコピーしている最初のパイプラインに取り組んでいます。 Amazonが提供するガイドラインに従っています（下記参照）。私の場合にはRDS MySQL接続文字列フィールドはありません。これはなぜですか？ http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-mysql-con