以下のモジュールをインポートしました。私はsqlCtx.read.formatからデータをロードしようとしましたが、「IllegalArgumentException:u」というエラーが発生しました。「org.apache.spark.sql.hive.HiveSessionState」のインスタンス化中にエラーが発生しました:「エラーですが、 spark.read.format。私は登録されたtemptable/viewからデータを取得しているときに同じ動作を見ています。 spark.sqlの代わりにsqlCtx.sqlを使用するために追加できるものは何ですか?Spark.sqlとsqlContext.sql
import os
import sys
import pandas as pd
import odbc as pyodbc
import os
import sys
import re
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark.sql import Row
from pyspark.sql.functions import *
%matplotlib inline
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
import pyspark.sql.functions as func
import matplotlib.patches as mpatches
import time as time
from matplotlib.patches import Rectangle
import datetime
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
conf = SparkConf()
conf.setMaster("local")
conf.setAppName("AppName")
sqlCtx = SQLContext(sc)
どのバージョンのSparkを使用しますか?他人がこの問題を解決するのに役立つかもしれません。 – titipata
私はSpark 2.1.0とPython 2.7を使用しています。 – Ramsey