スパークは、私は私のスクリプトに以下を追加したJSON出力

を圧縮しません。しかし、私が得るのは、出力に.jsonファイルがあり、期待通りに.json.gzではありません。ここで何が間違っていますか？スパークは、私は私のスクリプトに以下を追加したJSON出力

2016-10-04 Dmitri

はあなたが廃止されたプロパティを使用していることが考えられます。https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/DeprecatedProperties .html – pzecevic

アイデアはありがたいですが、新しいプロパティに変更しても役に立ちません。 – Dmitri

あなたはこれを試すことができます。

import org.apache.hadoop.io.compress.GzipCodec 

val df = Seq((2012, 8, "Batman", 9.8), (2012, 8, "Hero", 8.7), (2012, 7, "Robot", 5.5), (2011, 7, "Git", 2.0)).toDF("year", "month", "title", "rating") 
df.toJSON.rdd.saveAsTextFile("/tmp/jsonRecords", classOf[GzipCodec])

出典

2017-03-06 12:40:00 grundic

スパークは、私は私のスクリプトに以下を追加したJSON出力

答えて

関連する問題