スパークDATAFRAME - どのように行

Question

の列から特定のフィールドを取得する私はこのような構造を持つデータフレームを持っている：私は、データフレーム内のすべての行からすべてのnpaNumberを取得したい

root 
|-- npaDetails: struct (nullable = true) 
| |-- additionalInformation: struct (nullable = true) 
| |-- npaStatus: struct (nullable = true) 
| |-- npaDetails: struct (nullable = true) 
|-- npaHeaderData: struct (nullable = true) 
| |-- npaNumber: string (nullable = true) 
| |-- npaDownloadDate: string (nullable = true)  
| |-- npaDownloadTime: string (nullable = true) 

。

データフレーム内のすべての行を繰り返し処理して、npaHeaderData列に格納されている値をそれぞれフィールドnpaNumberに抽出しました。だから私は、次の行をコーディング：各反復で印刷された列の

parquetFileDF.foreach { newRow => 

    //To retrieve the second column 
    val column = newRow.get(1) 

    //The following line is not allowed 
    //val npaNumber= column.getAs[String]("npaNumber") 

    println(column) 

} 

内容は次のようになります。

[207400956,27FEB17,09.30.00]

しかしcolumnであります任意のフィールドを抽出できません。私が間違ってやっていることを誰かが教えてもらえますか、これの代わりにどのようなアプローチをとるべきですか

おかげ

Answer 1

あなただけnpaNumber、あなたは

parquetFileDF.select($"npaHeaderData.npaNumber".as("npaNumber")) 

を行うことができますあなただけdataframenpaNumberの列を持つべき抽出するために探している場合。

Answer 2

あなただけの指定した列

var newDataFrame = dataFrame.select(dataFrame("npaHeaderData.npaNumber").as("npaNumber"))