ロードがspark-csvで完了した直後にinferSchemaを呼び出す

Question

ロードが完了した後にinferSchemaを直接呼び出す方法はありますか？

例：

val df = sqlContext.read.format("com.databricks.spark.csv"). 
        option("header", "true"). 
        option("inferSchema", "false").load(location) 
df.schema 

私は以下のようないくつかのことを呼びたい：

val newdf = df.inferSchema() 
newdf.printSchema() 

よろしく

Answer 1

あなたが新しいスキーマを定義し、それを適用しない限り、それは、ことはできません新しいDataFrameが作成中です。

csvソースを使用してスキーマを読んでから使用することもできますが、これは後で使用するためにデータをスキャンします。

スキーマが推測されていないため、spark-csvはすべての列を文字列と見なします。