Apache SparkでsqlContextを作成するときのエラー

Question

Apache Sparkを使用していて、Ipythonノートブックで実行しています。 通常のデータフレームをSpark DataFrameに変換しようとしています。そのためにはsqlContextが必要です。私はそれを使用するときにエラーが発生します。

エラーは言う：私は複数のリソースを見上げたが、この問題を解決することはできませんよき

IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':" 

。

Answer 1

SQLContextは、Spark 1.xのSQL機能のエントリポイントです。スパーク2ではSparkSession（documentation）に置き換えられました。

from pyspark import SparkContext, SparkConf 
from pyspark.sql import SparkSession 
conf = SparkConf() 
sc = SparkContext(conf=conf) 
spark = SparkSession.builder.config(conf=conf).getOrCreate() 

は、さらに使用例のSpark SQLでdocumentationを参照してください：だから、ここにあなたがあなたのスクリーンショットに応じて使用される1つであるバージョン2.2、火花を初期化する適切な方法です。