AWS Glueの内部でSQLを使用するpySparkスクリプト

Question

AWS Glueを使用して、一部のcsvデータをorcに変換したいと考えています。
以下を生成し、私が作成したETLジョブPySparkスクリプト：

import sys 
from awsglue.transforms import * 
from awsglue.utils import getResolvedOptions 
from pyspark.context import SparkContext 
from awsglue.context import GlueContext 
from awsglue.job import Job 

args = getResolvedOptions(sys.argv, ['JOB_NAME']) 

sc = SparkContext() 
glueContext = GlueContext(sc) 
spark = glueContext.spark_session 
job = Job(glueContext) 
job.init(args['JOB_NAME'], args) 

datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "tests", table_name = "test_glue_csv", transformation_ctx = "datasource0") 

applymapping1 = ApplyMapping.apply(frame = datasource0, mappings = [("id", "int", "id", "int"), ("val", "string", "val", "string")], transformation_ctx = "applymapping1") 

resolvechoice2 = ResolveChoice.apply(frame = applymapping1, choice = "make_struct", transformation_ctx = "resolvechoice2") 

dropnullfields3 = DropNullFields.apply(frame = resolvechoice2, transformation_ctx = "dropnullfields3") 

datasink4 = glueContext.write_dynamic_frame.from_options(frame = dropnullfields3, connection_type = "s3", connection_options = {"path": "s3://glue/output"}, format = "orc", transformation_ctx = "datasink4") 
job.commit() 

はs3://glue/output/へのCSV（へアテナテーブルtests.test_glue_csv点の位置から）データ出力を取ります。

このスクリプトにSQL操作を挿入するにはどうすればよいですか？

おかげ

Answer 1

最初dyfがあなたの動的なフレームであり、ここであなたの動的なフレームから

dyf.toDF().createOrReplaceTempView("view_dyf") 

を一時ビュー/テーブルを作成する必要があります。その後

、その上でSQLクエリを適用するために、あなたのスパークオブジェクトを使用

sqlDF = spark.sql("select * from view_dyf") 
sqlDF.show() 

Answer 2

を使用できtoDF()

df = datasource0.toDF() df.printSchema()