Spark and Spark SQL with Java

Question

SparkとSparkの新機能ですが、JavaとSQLを知っています。

Spark SQLを使用して、Spark SQLを使用してSparkに変換された一連のOracleストアドプロシージャを取得する方法を具体的に説明します。例をお願いします。

Answer 1

次のコードはSpark SQLの例です。あなたは私に尋ねることができます

import org.apache.spark.sql.Dataset; 
import org.apache.spark.sql.Row; 
import org.apache.spark.sql.SparkSession; 

public class SparkSQL { 

    public static void main(String[] args) { 
     SparkSession sparkSession = SparkSession.builder().master("local").getOrCreate(); 
     Dataset<Row> peopleDS = sparkSession.read().json("C:\\people.json"); 
     peopleDS.createOrReplaceTempView("people"); 

     Dataset<Row> sql = sparkSession.sql("select city,avg(age) from people group by city"); 

     sql.show(); 



    } 

}