pyspark設定でpythonスクリプトを実行

Question

spark-defaults.conf、xmlファイルにcore-site.xml、hive-site.xmlを設定し、環境変数をエクスポートしました。その後、

$ pyspark --master yarn 

と：：私はpysparkコンソールを実行すると

>>> sqlContext.sql("show tables").show() 

すべてが正しいですが、私は純粋なPythonインタプリタを使用するとき、私は私の表を参照してくださいすることはできません。

from pyspark import SparkContext, SparkConf 
from pyspark.sql import SQLContext 
conf = SparkConf().setMaster("yarn-client") 
sc = SparkContext(conf=conf) 
sqlContext = SQLContext(sc) 
sqlContext.sql("show tables").show() 

どのようにすれば、すべての設定ファイルを見ることができますか？

Answer 1

PySparkシェルを実行すると、スパークはHiveのサポートでインスタンス化されます。つまり、HiveContext（デフォルトはSQLContext）です。

しかし、PythonプログラムまたはPythonインタプリタを実行しているときは、SQLContextにはHiveサポートが付属していません。インタプリタでコードを実行すると、あなたが得る結果/例外とは何ですか？この

sqlCtx = HiveContext(sc) 
sqlCtx.sql("show tables").show()