SQLを使用してCSVファイルをクエリする際にヘッダーをオンにする方法はありますか？

Question

Spark SQLはCSVファイルを直接照会できます。以下の例を参照してください。

val df = spark.sql("SELECT * FROM csv.`csv/file/path/in/hdfs`") 

ただし、SparkにCSVファイルにヘッダー行があるようにするにはどうすればよいですか？

Answer 1

あなたは、ビューを使用することができます。

spark.sql("""CREATE TEMPORARY VIEW df 
      USING csv 
      OPTIONS (header "true", path "csv/file/path/in/hdfs")""") 
spark.sql("""SELECT * FROM df""")