SparkContextコンストラクタを2回呼び出すことはできますか？

Question

私は以下のようなことをする必要があります。

val conf = new SparkConf().setAppName("MyApp") 
val master = new SparkContext(conf).master 

if (master == "local[*]") // running locally 
{ 
    conf.set(...) 
    conf.set(...) 
} 
else // running on a cluster 
{ 
    conf.set(...) 
    conf.set(...) 
} 

val sc = new SparkContext(conf) 

まず、ローカルモードまたはクラスタモードで実行しているかどうかを確認し、それに応じてconfプロパティを設定します。しかし、マスターについて知るためには、最初にSparkContextオブジェクトを作成する必要があります。また、confプロパティを設定した後、別のSparkContextオブジェクトを作成することは明らかです。いいですか？あるいは、Sparkは私の2番目のコンストラクタを無視するでしょうか？その場合、SparkContextオブジェクトを作成する前に、どのような方法でマスター（ローカルかクラスタモードか）を見つけることができますか？

Answer 1

複数のコンテキストを同時に起動すると、エラーが発生します。

第2のコンテキストを作成する前に、最初のコンテキストを停止することで回避できます。

master.stop() 
val sc = new SparkContext(conf) 

それはしかし、これを行うには愚かだ、あなたはスパークコンテキストを起動しなくても、スパークのconfからマスターを得ることができます。

conf.get("spark.master")