Spark 2.0で圧縮されたgsipped csvファイルをロードする

Question

Spark 2.0のPysparkにgzip圧縮CSVファイルをロードするにはどうすればよいですか？

私は次のように圧縮されていないCSVファイルを読み込むことができることを知っている：

spark.read.format("csv").option("header",   
           "true").load("myfile.csv") 

または

spark.read.option("header", "true").csv("myfile.csv") 

Answer 1

あなたはspark.sparkContext.textFile("file.gz")

を使用することができ、ファイルの拡張子が.gz

Answer 2

する必要があります私はちょうど次の作品が発見されたgzip形式のCSVファイル：

spark.read.option("header", "true").csv("myfile.csv")