2017-03-15 2 views
0

以下のモジュールをインポートしました。私はsqlCtx.read.formatからデータをロードしようとしましたが、「IllegalArgumentException:u」というエラーが発生しました。「org.apache.spark.sql.hive.HiveSessionState」のインスタンス化中にエラーが発生しました:「エラーですが、 spark.read.format。私は登録されたtemptable/viewからデータを取得しているときに同じ動作を見ています。 spark.sqlの代わりにsqlCtx.sqlを使用するために追加できるものは何ですか?Spark.sqlとsqlContext.sql

import os 
import sys 
import pandas as pd 
import odbc as pyodbc 
import os 
import sys 
import re 
from pyspark import SparkContext 
from pyspark.sql import SQLContext 
from pyspark.sql.types import * 
from pyspark.sql import Row 
from pyspark.sql.functions import * 
%matplotlib inline 
import matplotlib.pyplot as plt 
import pandas as pd 
import numpy as np 
import pyspark.sql.functions as func 
import matplotlib.patches as mpatches 
import time as time 
from matplotlib.patches import Rectangle 
import datetime 
from pyspark import SparkContext, SparkConf 
from pyspark.sql import SQLContext 
conf = SparkConf() 
conf.setMaster("local") 
conf.setAppName("AppName") 
sqlCtx = SQLContext(sc) 
+0

どのバージョンのSparkを使用しますか?他人がこの問題を解決するのに役立つかもしれません。 – titipata

+0

私はSpark 2.1.0とPython 2.7を使用しています。 – Ramsey

答えて

1

私はちょうど私が必要としなかった実現するために、この1で私の人生の2時間を費やし:

"sqlCtx = SQLContext(SC)" ジャストSQLContext.readを使用して

(。。 ..)、私の場合はこれを解決しました。

+0

私は同じ感覚を持っていますが、SQLContext.readを直接使用すると効果があります。ありがとうKieleth – Ramsey

+0

答えを受け入れる? ;) – Kieleth

+0

これで最後の5時間を費やした。あなたは私を救いました。乾杯。 –

関連する問題