ヘッダとデータファイルを使用してヘッダ付きデータフレームを作成

私は2つのファイルdata.csvとheaders.csvを持っています。私は、ヘッダーを使ってspark/scalaでdataframeを作成したいと思います。ヘッダとデータファイルを使用してヘッダ付きデータフレームを作成

var data = spark.sqlContext.read.format(
    "com.databricks.spark.csv").option("header", "true" 
    ).option("inferSchema", "true").load(data_path)

これを行うには上記の行をカスタマイズできますか？

出典

2017-10-26 Ravikrn

有用であると思います上記の方法を使用してheaders.csvを読み、

val headersDF = sqlContext .read .format("com.databricks.spark.csv") .option("header", "true") .load("path to headers.csv") val schema = headersDF.schema val dataDF = sqlContext .read .format("com.databricks.spark.csv") .schema(schema) .load("path to data.csv")

以下のようdata.csvを読み取るために、ヘッダーdataframeのschemaを使用することができますヘッダーオプションを使用してスキーマを作成し、そのスキーマをdata.csvに使用します。 –

あなたは、私は答えはあなたが使用してheaders.csvを読ん

出典

2017-10-26 03:30:09

ありがとうございました:) – Ravikrn

それを聞いて嬉しいです:)あなたも答えを受け入れることができます:) –

@Ravikrn答えを提供する回答者のために貴重な時間がかかります。提案されたソリューションが機能してから、いくつかの礼儀を示し、答えを受け入れてください。 – desertnaut

ヘッダとデータファイルを使用してヘッダ付きデータフレームを作成

答えて

関連する問題