パーケットファイルのスキーマを取得するために使用できるPythonライブラリはありますか？Pythonの火花データフレームにファイルをロードせずに寄木張りファイルのスキーマを取得しますか？
現在、パーケットファイルをSparkのdataframeにロードし、データフレームからスキーマを取得してアプリケーションのUIに表示しています。しかし、スパークコンテキストを初期化してデータフレームをロードし、データフレームからスキーマを取得することは時間のかかる作業です。スキーマを取得するための代替方法を探しています。
これは、pyarrow（https://github.com/apache/arrow/）を使用してサポートされています。
from pyarrow.parquet import ParquetFile
# Source is either the filename or an Arrow file handle (which could be on HDFS)
ParquetFile(source).metadata
注：私たちは、あなたがhttps://github.com/apache/arrow/commit/f44b6a3b91a15461804dd7877840a557caa52e4e
ありがとうございます。ビルドhttps://travis-ci.org/apache/arrow/jobs/190525227のような状態は緑色です。あなたはビルドをどこから得るべきか教えていただけますか？それ以外の場合は、この矢印を作成する方法のドキュメントを私に指摘できますか？ – Saran
これは動作しますが、通常のテキストではなくdictまたは配列として応答を返すことはできませんか？ –
はファイルHDFS内かどうかがわかり、ソースからビルドする必要があるので、これだけで昨日のコードをマージ？ –
Sparkは、スキーマを取得するためにデータセット全体をロードする必要はありません。寄せ木張りのファイルからスキーマを取得するのは即座に行われます。 –
@ティガゴ・バルディム - はい、HDFSのみです – Saran