AttributeError： 'SparkContext'オブジェクトには、 'createDataFrame'属性がありません。これはSpark 1.6を使用しています。

Question

このエラーに関する以前の質問には、Sparkのバージョンの更新が必要です。 Sparkの以前のバージョンを削除し、Hadoop 2.6.0用に構築されたSpark 1.6.3をインストールしました。

私はこの試みた：

s_df = sc.createDataFrame(pandas_df) 

をし、このエラーを得た：

--------------------------------------------------------------------------- 
AttributeError       Traceback (most recent call last) 
<ipython-input-8-4e8b3fc80a02> in <module>() 
     1 #creating a spark dataframe from the pandas dataframe 
----> 2 s_df = sc.createDataFrame(pandas_df) 

AttributeError: 'SparkContext' object has no attribute 'createDataFrame' 

誰もがなぜ知っていますか？私は削除して同じ1.6バージョンを再インストールしようとしましたが、それは私のために動作しませんでした。ここで

は、私は私のpysparkを正しく動作させるためにいじりました私の環境変数です：

PATH="/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/X11/bin" 
export PATH 

# Setting PATH for Python 2.7 
# The orginal version is saved in .bash_profile.pysave 
PATH="/Library/Frameworks/Python.framework/Versions/2.7/bin:${PATH}" 
export PATH 

# added by Anaconda installer 
export PATH="/Users/pr/anaconda:$PATH" 

# path to JAVA_HOME 
export JAVA_HOME=$(/usr/libexec/java_home) 

#Spark 
export SPARK_HOME="/Users/pr/spark" #version 1.6 
export PATH=$PATH:$SPARK_HOME/bin 
export PYSPARK_SUBMIT_ARGS="--master local[2]" 
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH 
export PYSPARK_DRIVER_PYTHON=jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' 

は、私は多分、別々のHadoopをインストールする必要がありましたか？私が実行していたコードのためにそれを必要としなかったので、私はそのステップをスキップしました。

Answer 1

SparkContext持っていない、SQLContextがあります

from pyspark.sql import SQLContext 

sqlContext = SQLContext(sc) 
sqlContext.createDataFrame(pandas_df)