テーブルからスカラーのデータフレームを作成する方法

Question

スカラーの2つのテーブルに対してdataframeを作成し、実行しようとするとsyntax errorを取得しようとしています。非常に新しいスカラーです。

import org.apache.spark.sql.{DataFrame, SparkSession} 
import org.apache.spark.sql.functions._ 

object testfunction extends App { 
val session = SparkSession.builder().master("local").getOrCreate() 

import session.implicits._ 


val sqlContext = SQLContext(sc) 
val df1 = sqlContext.sql("select * from table1") 
val df2 = sqlContext.sql("select * from table2") 
//trying to call a function 
testfunction("key",df1,df2) 
} 

//// 
testfunction definition { .... } 

iamにインポート機能がない場合は、上記の構文が正しくない場合は私に連絡してください。スカラーを学ぶ。回答は高く評価されます。 エラー：エラー：見つかりません：値はSQLContext ヴァルsqlContext = SQLContext（SC）

Answer 1

物事の現在の方法は次のようになります：あなたが最初にすることなく、DF1またはDF2を使用することはできません

val df = spark.read.json("/somepath/testweet.json") 
df.createOrReplaceTempView("table1") 
var df1 = spark.sql("select text from table1") 
df1.printSchema() 
df1.show() 

valキーワードで宣言してください。 詳細はこちらhttps://spark.apache.org/docs/latest/sql-programming-guide.html