各Sparkエグゼキュータのカスタムjava.rmi.server.hostnameを設定します。

Question

私はSparkプロセスをYARN（10人の従業員と10人のホスト）で実行していますが、エグゼキュータでJMXを使用できます。 単純化すると、（ポートの競合を避けるために）各ホストに最大で1人のエグゼキュータが存在すると確信しています。

各ホストに異なるjava.rmi.server.hostnameが必要であるため、spark.executor.extraJavaOptionsをSpark Confに使用することはできません。

YARNコンテナ/ SparkエグゼキュータごとにカスタムJavaオプションを設定する方法が見つかりませんでした。どのように進めますか？

私はそれがSystem.setProperty("java.rmi.server.hostname", ...)で動的に設定されるべきだと思うが、「エグゼキュータが起動すると」フックがない。私は？

Answer 1

あなたはspark.executor.extraJavaOptionsに次のような使用することができます。

-Dcom.sun.management.jmxremote.port=9999 
-Dcom.sun.management.jmxremote.rmi.port=9999 
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false 
-Dcom.sun.management.jmxremote.local.only=false