`sqlContext.sql`と` sqlContext.setConf`の相違点

Question

sqlContext.sqlとsqlContext.setConfの違いは何ですか？

scala> sqlContext.sql("set spark.sql.shuffle.partitions=15") 

scala> sqlContext.setConf("spark.sql.shuffle.partitions", "10") 

Answer 1

sqlContext.setConf("spark.sql.shuffle.partitions", "10")logicalPlanが生成される前whole applicationのプロパティパラメータを設定します。

sqlContext.sql("set spark.sql.shuffle.partitions=15")も、particular queryのためにプロパティを設定し、logicalPlanの作成時に生成されます。

これらの間の選択は、要件に応じて異なります。