2017-04-06 3 views

答えて

1

はい、SparkEnvSparkConfSparkContextは全て自動的SparkSessionが作成されるときに作成(及びスパークSQLに対応するコードは、よりハイレベルであり、うまくいけば、より少ないエラーが発生しやすい理由です)されています。

SparkEnvは、Sparkの実行時インフラストラクチャの一部であり、Spark SQL(またはSpark MLlib)で高水準APIを使用するには、すべてのSpark Coreの低レベルサービスを起動して実行する必要があります。ここでは何も変わっていません。

scala> :type spark 
org.apache.spark.sql.SparkSession 

scala> spark.sparkContext 
res1: org.apache.spark.SparkContext = [email protected] 
関連する問題