パーケットファイルをローカルディスクに書き込む際にエラーが発生しました

Question

ローカルディスクにスパークデータフレームを書き込んでいますが、読み戻せません。

val path = "file:///mnt/resources/....." 
df.write.parquet(path) 
val d = spark.read.parquet(path) 

私は次のエラーを取得する：

org.apache.spark.sql.AnalysisException: Unable to infer schema for Parquet. It must be specified manually.; 

私はアズールDatalakeやストレージへ/からの読み取りと書き込みと罰金ですが、いないローカルディスクを持ちます。 誰も同じ問題に直面していますか？どのようにそれを解決するには？私は.csvファイルでもテストしました。その場合、ファイルが存在しないと言います。ワーカーノードにログインしてもファイルが表示されます。

Answer 1

TL; DRローカルファイルシステムへの書き込みは、localモードでのテストにのみ有効です。

クラスタ展開を使用する場合は、書き込みにローカルファイルシステムを使用しないでください。その場合、各エグゼキュータは独自のファイルシステムに書き込みを行い、後で一貫した読み込みを行うことは不可能です。