複数のRowTagsを持つSparkのXMLファイルを読む

Question

3つの異なるRowTagsを持つ巨大なXMLファイルをApache Spark Dataframesに読み込みたいと思います。

RowTag = XML要素。これはSparkで行として解釈されます。

タグ

• は唯一のため、rowTagの時間を読むために提供しています

XML-スパーク（https://github.com/databricks/spark-xml）が重複していない別のデータ構造が含まれているので、私は読む必要があるでしょう同じファイル3回（効率的ではない）。

1つの読み込みでファイルを読み取る方法はありますか？

詳細：

<myFile> 
    <ContainedResourceList> 
     <SoundRecording><Title>A</Title></SoundRecording> 
     ... several million records ... 
     <SoundRecording><Title>Z</Title></SoundRecording> 
    </ContainedResourceList> 

    <ContainedReleaseList> 
     <Release><ReleaseType>Single</ReleaseType></Release> 
     ... several million records ... 
     <Release><ReleaseType>LP</ReleaseType></Release> 
    </ContainedReleaseList> 

    <ContainedTransactionList> 
     <Transaction><Sales>1</Sales></Transaction> 
     ... several million records ... 
     <Transaction><Sales>999</Sales></Transaction> 
    </ContainedTransactionList> 
</myFile> 

XMLファイルが有効である：

私は3つのリストが含まれている巨大なXMLファイル（24ギガバイト）を持っています。 RowTags SoundRecording、Release &トランザクションを読んでいます。

私はScalaライブラリを好んでいますが、読み込みを有効にするライブラリがあればうれしいです。

PS： 出力はどうすれば&のスキーマのように見えるのですか？

• 最適なオプション：

Answer 1

一つの簡単な方法が爆発使用することで、すべての3つのデータ構造の可能な要素を含むものDATAFRAME：各ため、rowTag

醜いオプション3つのデータフレームの配列、1関数。あなたはContainedResourceListのため、rowTagセットとの完全なXMLを読み取る次いで得られたデータフレームであなたは私はあなたに感謝