Apache Sparkで異なる列数の独自のヘッダーを持つファイルを処理するにはどうすればよいですか？

Question

私が持っている：S3上のファイルの

1. 何百万
2. 形式が、それは特別な治療を必要とするひどいDSV仕様であるため、ヘッダ行は、特殊文字で始まり、各ファイルが複数のヘッダを含めることができますhttps://github.com/databricks/spark-csvと互換性がありません
3. 各ファイルにヘッダーがありますが、ヘッダーが変更されています（異なるフィールド/列）。このファイルには、パフォーマンス上の理由から
4. 私はsmthを行う必要があります。 read.text("s3n://2016/01/*")

ヘッダーを取得する方法とそれに対応する行を一緒に処理する方法が見つかりません。 ImhoのカスタムPartitionerは、ファイルごとのデータを分割することはできませんし、rdd/dataset/dataframe APIはこれを行う手段を提供していません...

ご存じですか？私はSpark 2.0.0を使うことができます。 Sparkはヘッダー付きのDSVファイルにはあま​​り親切ではないようですが、特にヘッダーが異なる場合は...

Answer 1

おそらく最も単純な戦略は、ファイルを整理して後で処理するか、ビルドアップすることですどのファイルがどのタイプのディレクトリであるかを確認し、それを使ってRDDを構築する。

amdd s3クライアントをrddから呼び出す例については、http://tech.kinja.com/how-not-to-pull-from-s3-using-apache-spark-1704509219を参照してください。あなたはそのディレクトリを構築するためにそれを使うことができます。