「error：valueドライバはorg.apache.spark.sql.SparkSessionのメンバーではありません」という理由でspark-shellが失敗するのはなぜですか？

Question

以下は実行しようとしているコードです。

sc.getConf.set("spark.driver.extraClassPath","/user/hadoop/ojdbc6.jar") 

わからないのthatsはあなたが必要なもの、これを使ったことがない場合：私は、どのパッケージをmisssingが、私は

scala> spark.driver.extraClassPath /user/hadoop/ojdbc6.jar 
    <console>:33: error: value driver is not a member of org.apache.spark.sql.SparkSession 
      spark.driver.extraClassPath /user/hadoop/ojdbc6.jar 
       ^
    <console>:33: error: not found: value user 
      spark.driver.extraClassPath /user/hadoop/ojdbc6.jar 
             ^
    <console>:33: error: not found: value hadoop 
      spark.driver.extraClassPath /user/hadoop/ojdbc6.jar 
              ^
    <console>:33: error: not found: value ojdbc6 
      spark.driver.extraClassPath /user/hadoop/ojdbc6.jar 


^ 

Answer 1

はあなたが試すことができインポートする必要があるかわからないと思います。

Answer 2

エラーの原因は、実行する前に、spark-shell（プロンプトscala>と表示されます）の中に次の行を入力したためです。それは設定キーと値が空白で区切られconf/spark-defaults.confの一部とすることができるようにラインが見えること

spark.driver.extraClassPath /user/hadoop/ojdbc6.jar 

。

あなたはconf/spark-defaults.confを使用するか、次のようにspark-shell--confとコマンドラインオプションを起動する必要があります。

spark-shell --conf spark.driver.extraClassPath=/user/hadoop/ojdbc6.jar 

同じ効果を持つために、次のようにあなたがspark-shellを実行でき​​に対応spark.driver.extraClassPath考えます。

spark-shell --driver-class-path /user/hadoop/ojdbc6.jar 

---

あなたは本当にspark-shellの--jarsコマンドラインオプションを使用する必要があります。

--jars JARS Comma-separated list of jars to include on the driver and executor classpaths.