コードで定義されたアプリケーション名がYARN UIのアプリケーションを実行中に表示されないのはなぜですか？

Question

これは私のSparkアプリケーションの関連部分で、appNameを使ってアプリケーションの名前を設定します。

import org.apache.spark.sql.SparkSession 

object sample extends App { 
    val spark = SparkSession. 
    builder(). 
    appName("Cortex-Batch"). // <-- application name 
    enableHiveSupport(). 
    getOrCreate() 

私は、実行中のアプリケーションの下でのHadoop YARNクラスタ内のスパークアプリケーションの名前をチェックして、私はコードで定義された名前が表示されません。どうして？

は、私は次のように--properties-fileを使用して、プロパティファイルで​​を使用します。

/usr/hdp/current/spark2-client/bin/spark-submit \ 
    --master yarn \ 
    --deploy-mode cluster \ 
    --class com.jpmc.cortex.LoadCortexDataLake \ 
    --verbose \ 
    --properties-file /home/e707698/cortex-batch.properties \ 
    --jars /usr/hdp/current/spark-client/lib/datanucleus-api-jdo-3.2.6.‌​jar,/usr/hdp/current‌​/spark-client/lib/da‌​tanucleus-core-3.2.1‌​0.jar,/usr/hdp/curre‌​nt/spark-client/lib/‌​datanucleus-rdbms-3.‌​2.9.jar \ 
    /home/e707698/cortex-data-lake-batch.jar "/tmp/clickfiles1" "cortex_dev.xpo_click1" 

代わりに、プロパティファイルで指定したアプリケーション名が取られています。プロパティファイルからプロパティを削除しようとしましたが、その名前はSparkアプリケーションのフルクラス名（/com/jpmc/cortex/LoadCortexDataLake）です。

どうすればよいですか？

Answer 1

--name作品です。私は今、ヤーンランニングアプリケーションでspark-submitを使って私が与えたものを見ることができます。