実行環境変数をSparkで設定する

Question

私はspark-defaults分類[http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html]]を使用しており、以下のプロパティを提供しています： - spark.yarn.appMasterEnv.FOO = "foo"を使用して糸マスタに環境変数を設定しています。

これらの変数がエグゼキュータインスタンスにも存在するかどうかを知りたがっていましたか？そうでない場合、同じことをする方法はありますか？

Answer 1

プロパティspark.yarn.appMasterEnv.FOO = "foo"によって設定された環境変数は、エグゼキュータインスタンスには存在しません。

[ 
    { 
    "Classification": "yarn-env", 
    "Properties": {}, 
    "Configurations": [ 
     { 
     "Classification": "export", 
     "Properties": { 
      "VARIABLE_NAME": VARIABLE_VALUE, 
     } 
     } 
    ] 
} 
]