Spark-submit Executersがプロパティを取得していない

Question

4ノードDSE sparkクラスタにSparkアプリケーションをデプロイしようとしています。依存するすべてのJarでfat jarを作成しました。src/main /バッチインターバルのマスターURLなどのプロパティを持つリソース

私はこのfat jarをマスターにコピーしました。私は "spark-submit"でアプリケーションを送信しています。以下は私のサブミットコマンドです。

dse spark-submit --class com.Processor.utils.jobLauncher --supervise application-1.0.0-develop-SNAPSHOT.jar qa 

私はシングルノードクラスタ上で実行すると、すべてが正常に動作しますが、DSEスパークスタンドアロンクラスタ上で実行する場合、バッチ・インターバルのように、上記の性質は執行に利用できなくなります。私はグーグルで、それが多くの問題を解決した共通の問題であることが分かった。私は解決策の1つに従っていて、肥沃な瓶を作り、実行しようとしましたが、私の資産はエグゼクティブには利用できません。

誰かが問題の解決方法を教えてください。

私はDSE 4.8.5を使用して1.4.2

スパークし、これは私がプロパティをロードしています

System.setProperty("env",args(0)) 

val conf = com.typesafe.config.ConfigFactory.load(System.getProperty("env") + "_application") 

Answer 1

が解決策を考え出した方法です午前：

私は、プロパティを参照していますシステムプロパティからのファイル名（私はコマンドラインパラメータでメインメソッドを設定しています）、コードがワーカーノードで出荷されて実行されると、システムプロパティは使用できません（明らかに.. !!）ので、typesafe ConfigFactoryを使用する代わりにロードプロパティファイル私は簡単なScala fを使用しています読書。