spark 2.0を実行するpysparkのカスタムプロファイラの指定

Question

PySparkバージョン2+用のPySparkでカスタムプロファイラクラスを指定する方法を知りたいと思います。

sc = SparkContext('local', 'test', profiler_cls='MyProfiler') 

を私は2.0でSparkSessionを作成するとき、私は明示的に SparkContextへのアクセスを持っていない：1.6の下で、私はこのようにそれを行うことができます知っています。誰かがSpark 2.0+のためにこれを行う方法をアドバイスできますか？

Answer 1

SparkSessionは、たとえば、既存のSparkContextで初期化することができます。

from pyspark import SparkContext 
from pyspark.sql import SparkSession 
from pyspark.profiler import BasicProfiler 

spark = SparkSession(SparkContext('local', 'test', profiler_cls=BasicProfiler))