spark.sqlの大文字と小文字の区別をグローバルに有効にする

Question

オプションspark.sql.caseSensitiveは、カラム名などが大文字と小文字を区別するかどうかを制御します。これは、例えば、

spark_session.sql('set spark.sql.caseSensitive=true') 

デフォルトでは、falseです。

しかし

spark.sql.caseSensitive: True 

と$SPARK_HOME/conf/spark-defaults.confでグローバルにそれを有効にすることは可能ではないようです。 これは意図しているのですか、SQLオプションを設定するための他のファイルがありますか？

また、sourceでは、これをまったく有効にすることをお勧めしません。そのアドバイスの背後にある根拠は何ですか？

Answer 1

それはすべての後に作業を行い$SPARK_HOME/conf/spark-defaults.confで

spark.sql.caseSensitive: True 

を設定結局のところ。これは、マスタまたはワーカーではなく、Sparkドライバの設定で行う必要があります。どうやら私は最後に試したときにそれを忘れてしまったようです。