Spark：エグゼキュータを起動するリソースファイルパスを送信する

Question

リソースファイルパスの場所をドライバからエグゼキュータに渡す必要があります。 これを達成するために、私はexecutor enviornmnet変数を設定しようとしています。

class AppMain{ 
def main(args : Array[String]){ 
    val resourcePath = "https://stackoverflow.com/a/" 
    sparkConf.setExecutorEnv("RESOURCEPATH", resourcePath) 
} 
class B{ 
println(System.getenv("RESOURCEPATH")) // This returns null 
} 
} 

任意の提案、これを解決する方法についてまたは私はここで何をしないのです： コードがfollwsように見えますか？

Answer 1

sparkでは、呼び出されたアクションのクロージャ内で任意の変数を直接使用できます。

String my_path="path"; 
rdd.map(new Function<Tuple2<ImmutableBytesWritable,Result>, String>() { 
     @Override 
     public String call(Tuple2<ImmutableBytesWritable, Result> immutableBytesWritableResultTuple2) throws Exception { 
      return my_path; 
     } 
    }); 

提案：あなたはその後、ローカルでテストしている場合は、エグゼキュータ・プロセスが作成されたかどうかを確認または実行者はドライバーと同じJVM内runnedされている場合。環境変数は、エグゼキュータが起動しているときにのみ設定されるためです。