なぜsparkが "name 'sqlContext'が定義されていないかを教えてください。どうすればsqlContextを使用できますか？

Question

私は火花ミリリットルの例を実行しようとしたが、端末が

NameError: name 'SQLContext' is not defined 

はこれがなぜ起こったかと言われますので

from pyspark import SparkContext 
import pyspark.sql 

sc = SparkContext(appName="PythonStreamingQueueStream")  
training = sqlContext.createDataFrame([ 
(1.0, Vectors.dense([0.0, 1.1, 0.1])), 
(0.0, Vectors.dense([2.0, 1.0, -1.0])), 
(0.0, Vectors.dense([2.0, 1.3, 1.0])), 
(1.0, Vectors.dense([0.0, 1.2, -0.5]))], ["label", "features"]) 

を実行することはできませんか？どのように私はそれを解決することができますか？

Answer 1

Apache Spark 1.xライン（Apache Spark 2.0以前）を使用している場合、sqlContextにアクセスするには、sqlContextをインポートする必要があります。すなわち

from pyspark.sql import SQLContext 
sqlContext = SQLContext(sc) 

あなたがApacheのスパーク2.0を使用している場合は、直接だけでなくSpark Sessionすることができます。したがって、コードは

training = spark.createDataFrame(...) 

となります。詳細は、Spark SQL Programing Guideを参照してください。