負荷の小道具は、私が使用して私のスパークアプリケーションでカスタムプロパティをロードしようとしています

EMRスパークアプリケーションでファイル： - しかし負荷の小道具は、私が使用して私のスパークアプリケーションでカスタムプロパティをロードしようとしています

command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jar

が、私は次の例外を取得しています： - スレッドで

例外"main" java.lang.IllegalArgumentException：無効なプロパティファイル 's3：//spark-config-test/myprops.conf' '。 org.apache.spark.launcher.CommandBuilderUtils.checkArgument（CommandBuilderUtils.java:241）ででorg.apache.spark.launcher.AbstractCommandBuilder.loadPropertiesFile（AbstractCommandBuilder.java:284） org.apache.sparkました。組織

でlauncher.AbstractCommandBuilder.getEffectiveConfig（AbstractCommandBuilder.java:264）でorg.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand（SparkSubmitCommandBuilder.java:233）は、このファイルをロードするための正しい方法ですS3から？

出典

2017-11-28 Sanchay

S3から直接プロパティファイルを読み込むことはできません。代わりに、マスターノードにプロパティファイルをダウンロードし、そのノード上のローカルパスを参照するスパークジョブを送信する必要があります。 aws cliユーティリティを実行するには、command-runner.jarを使用してダウンロードを実行します。

出典

2017-11-28 15:56:44 RyanW

これは、spark-default.confファイルとyarn-xmlファイルの場合も同様です。 – Sanchay

いいえ、Amazonはspark/hadoop固有の設定をすべて設定するための設定APIを提供しています。基本的に、JSONオブジェクトには「yarn.some.setting」のようなキーが用意されています。詳細はこちら：http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html – RyanW

私はspark-defaultsの分類を使用し、次のプロパティを提供しています： - spark.yarn.appMasterEnv.FOO = "foo"。これはエグゼクティブにも見えますか？ – Sanchay

負荷の小道具は、私が使用して私のスパークアプリケーションでカスタムプロパティをロードしようとしています

答えて

関連する問題