sparkの重複カラムjson

Question

フラット構造のjsonファイルでspark.read.json(json_file_path)を実行しました。

私は、エラーメッセージました：Col：これは別の例名前を持つ別の列に起因することも可能である

Reference 'col' is ambiguous, could be: col#29582L, col#29632 

を。 jsonデータを変更できない場合、どうすれば解決できますか？

Answer 1

R case of the problemを参照して設定を検索した後。

私はhttps://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html

から

spark.conf.set("spark.sql.caseSensitive", "true") 

を見つけ