amazon-data-pipeline

0熱

1答えて

AWSデータパイプラインでスパークステップを実行しようとしています。 amazonaws.datapipeline.taskrunner.TaskExecutionException：EMR変換完全に失敗しました - ：私は次の例外を取得しています。 amazonaws.datapipeline.activity.EmrActivity.runActivity amazonaws.datapip

1熱

1答えて

Spark Submit EMRで並列ジョブを実行しているときのコンフィグレーション

現在、DatapipelineのHadoopActivityタスクを使用してEMRクラスタで並列スパークジョブを実行しています。デフォルトでは、EMRクラスタの新しいバージョンでは、スパーク動的割り当てがtrueに設定され、負荷に基づいて必要なエグゼキュータの数を増減します。したがって、スパーク送信と一緒に他のプロパティを設定する必要がありますか？コア数、エグゼキュータメモリなど、またはEMRクラ

0熱

1答えて

負荷の小道具は、私が使用して私のスパークアプリケーションでカスタムプロパティをロードしようとしています

EMRスパークアプリケーションでファイル： - しかし command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{i

0熱

1答えて

実行環境変数をSparkで設定する

私はspark-defaults分類[http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html]]を使用しており、以下のプロパティを提供しています： - spark.yarn.appMasterEnv.FOO = "foo"を使用して糸マスタに環境変数を設定しています。これらの変数がエグゼキュータインス

1熱

1答えて

AWSデータパイプラインemrアクティビティステップセクションでカンマをエスケープする

aws Webコンソールに用意されているアーキテクトを使用してawsデータを作成しています。 emrclusterが設定され、正常に起動しました。しかし、私は次のような問題に遭遇EMRの活動を提出しようとしています： EMR活動のステップセクションで私の要件は限り3つのパッケージで--packages引数を提供することである。しかし私は解体性のステップがコンマの値が異なることを理解しており、c

1熱

1答えて

サポートされていないプロパティ*パスワード

私はRdsDatabaseオブジェクトを持つDataPipelineリソースを含むCloudFormationスタックテンプレートを持っている：私はこのスタックを作成しようとすると AWSTemplateFormatVersion: '2010-09-09' Resources: ProUsageReportsPipelineStg: Type: AWS::DataPipel

0熱

1答えて

awsデータパイプラインを自動的に再実行すると失敗しますか？

awsデータパイプラインを作成しましたが、cronスケジュールで実行すると失敗します。 AWS forumについては、私が使用しているパイプライン定義の詳細な投稿があります。質問：私は失敗時に自動的にパイプラインを再実行できるので、手動でログインして再実行する必要はありません。おかげで、アーネスト

1熱

1答えて

DynamoDBデータをS3にエクスポートするためにDataPipelineを設定する際に 'DynamoDB読み取りスループット比'を計算する方法

各レコードのサイズが4kの〜16MレコードのDynamoDBがあります。テーブルは自動スケーリング用に構成されています。Target utilization：70％、Readsの最小プロビジョニング容量：250、Writesの最大プロビジョニング容量：3000。 DynamoDBをS3にバックアップするデータパイプラインを設定しようとしています。パイプライン構成では、デフォルトで0.25であるRe