Spark - 読み込み時に空のgzipファイルを読み飛ばしたり無視する方法

Question

私は数百個のgzipテキストファイルを数百個のフォルダにそれぞれs3で持ち、それをspark.read.csv()というデータフレームに読み込もうとしています。ファイルの中で

は、ゼロの長さの一部はエラーになり、あります

java.io.EOFException: Unexpected end of input stream

コード：

df = spark.read.csv('s3n://my-bucket/folder*/logfiles*.log.gz',sep='\t',schema=schema) 

私はDROPMALFORMEDにmodeを設定し、sc.textFile()で読んでみましたが、運がない。

空のファイルや壊れたgzipファイルを処理する最善の方法は何ですか？

Answer 1

spark 2.1からは、spark.sql.files.ignoreCorruptFilesオプションを有効にすると、破損したファイルを無視できます。これをspark-submitコマンドまたはpysparkコマンドに追加してください：

--conf spark.sql.files.ignoreCorruptFiles=true