ScalaのSpark - CPU数を設定する

Question

私はCPU使用量を制限しようとしていますが、私はこの奇妙な結果を得ました：3 CPUに制限しようとすると、私はsparck Context with [*] masterを取得します：

Answer 1

これ以上の情報がなければ、あなたはスパークシェルの内側からこれをやっていると思います。これは、マスターが既に設定され、使用されることを意味します。このコールはgetOrCreateであることに注意してください。これは、すでに何かを得ることができない場合にのみ作成されることを意味します。

Answer 2

これは、すでに1つのSparkSessionオブジェクトがあるためです。

スレッドコンテキストにアクティブセッションがある場合は、このセッションが使用されます。ノートブックに1つの添付セッションがあるため、getOrCreateは既存のSparkSessionを返すのです。

Using an existing SparkSession; some configuration may not take effect. 

その後、あなたはきれいにすることができるアクティブなセッション：あなたのログに

チェック、おそらくあなたが持っている

SparkSession.clearActiveSession() 

しかし、ノートPCで、それが上の他のノートブックでのエラーの原因となりますのでお勧めしませんあなたのサーバー