2017-07-20 7 views
1

spark 1.6で明示的にspark-shellを使ってHiveサポートを無効/有効にするための設定プロパティはありますか?私は、私が実際にハイブサポートを有効/無効にするために必要なことができますどのプロパティにわからない、spark-shell〜Sparkプロパティ(Spark 1.6)でHiveサポートを有効または無効にするにはどうすればよいですか?

sqlContext.getAllConfs.foreach(println) 

、とすべてのsqlContextの構成プロパティを取得しようとしましたが。またはこれを行う他の方法はありますか?

答えて

2

SPARK-16013 Add option to disable HiveContext in spark-shell/pysparkと協力しなければなりません。

これを回避する方法の1つは、SparkでHiveサポートを無効にするHive関連のjarファイルを削除することです(Hiveクラスが必要な場合はSparkにHiveサポートがあるため)。

+0

の場合、Spark 2.0+を使用する方が良いと思います。Thanks @Jacek Laskowski。同じ私は、ハイブ接続プロパティを無効にするval sqlContext =新しいSQLContext(sc)として、HiveContextなしでsqlContextオブジェクトを再作成しようとしました。ありがとう。 –

1

あなただけのスパークセッションを作成することにより、ハイブのサポートを有効にすることができますが、唯一のスパークで> = 2.0:

val spark = SparkSession 
    .builder() 
    .appName("Spark Hive Example") 
    .config("spark.sql.warehouse.dir", warehouseLocation) 
    .enableHiveSupport() 
    .getOrCreate() 

そして、ここであなたはハイブサイトのプロパティをハイブを変更することにより、スパークにハイブを構成する方法を読んでスパークすることができます.xmlファイル、火花-defaults.confに:https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started - それは私が、このようなスパークプロパティはスパーク1.6で利用可能ないと思いを考えると火花1.6.1

+0

ありがとう@yehor Krivokon。 hive-site.xmlやspark-defaults.confの編集は、saprk 1.6.0でハイブを無効にするか有効にする必要があります。このハイブenableを変更したいときはいつでも少し難しいです。私の目的は、val sqlContext = new SQLContext(sc)のように、HiveContextなしでsqlContextを再作成します。 –

+0

この場合、SparkSessionが –

関連する問題