クラスタモードのSpark 2.1ではextraJavaOptionsが無視されます

Question

私たちはHortonWorks Spark Distribution 2.1を実行しています。 Sparkをマスタとして使用してSparkを実行すると、executors.extraJavaOptionsとして渡されたものは完全に無視され、実行者にはデフォルト値が保持されていることに気付きました。

誰もが似たようなことに気付いていて、分かち合う知恵を持っているのだろうかと思っていました。私は必要以上の詳細を提供してうれしいです。

アップデート：ここで要求されるようにコマンドは、オプションと一緒に、実行されます。

spark-submit --name streaming-driver --num-executors 40 
    --conf spark.metrics.conf=streaming.metrics.properties 
    --files kafka_client_jaas.conf#kafka_client_jaas.conf, 
      appconf.conf#appconf.conf, 
      streaming.metrics.properties#streaming.metrics.properties, 
      kafka.conf#kafka.conf,log4j.properties#log4j.properties 
    --conf "spark.executor.extraJavaOptions= 
       -Dcom.sun.management.jmxremote 
       -Dcom.sun.management.jmxremote.port=0 
       -Dcom.sun.management.jmxremote.rmi.port=0 
       -Dcom.sun.management.jmxremote.authenticate=false 
       -Dcom.sun.management.jmxremote.ssl=false 
       -Dcom.sun.management.jmxremote.local.only=false 
       -Djava.security.auth.login.config=./kafka_client_jaas.conf 
       -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode" 
    --conf spark.metrics.conf=streaming.metrics.properties 
    --conf spark.hadoop.yarn.timeline-service.enabled=false 
    --driver-java-options=" 
      -Dhdp.version=2.5.3.0-37 -Dconfig.file=appconf.conf 
      -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode 
      -Dlog4j.configuration=log4j.properties 
      -Djava.security.auth.login.config=./kafka_client_jaas.conf 
      -Dcom.sun.management.jmxremote 
      -Dcom.sun.management.jmxremote.port=0 
      -Dcom.sun.management.jmxremote.rmi.port=0 
      -Dcom.sun.management.jmxremote.authenticate=false 
      -Dcom.sun.management.jmxremote.ssl=false 
      -Dcom.sun.management.jmxremote.local.only=false" 
    --master yarn-cluster 
    --driver-memory "6g" 
    --properties-file spark.conf --class < class> application.jar 

注これはわずかませ改行が同様に存在していないので、キータブなどのようないくつかの他のセキュリティパラメータの変更され、ここに置きますそれがより読みやすいようにするだけです。

Answer 1

spark.executor.extraJavaOptions proeryも二重引用符で囲んでいるようです。私は値が引用の内側にあるべきだと思う：

--conf spark.executor.extraJavaOptions=" 
        -Dcom.sun.management.jmxremote 
        -Dcom.sun.management.jmxremote.port=0 
        -Dcom.sun.management.jmxremote.rmi.port=0 
        -Dcom.sun.management.jmxremote.authenticate=false 
        -Dcom.sun.management.jmxremote.ssl=false 
        -Dcom.sun.management.jmxremote.local.only=false 
        -Djava.security.auth.login.config=./kafka_client_jaas.conf 
        -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"