Sparkのgzipサポート

Question

Big Dataプロジェクトの場合、繰り返しワークロードのメモリ内計算などの便利な機能を持つsparkを使用する予定です。ローカルファイルまたはHDFS上で実行できます。

しかし、公式のドキュメントでは、gzipファイルの処理方法に関するヒントは見つかりません。実際には、解凍されたファイルの代わりに.gzファイルを処理するのが非常に効率的です。

gzipファイルの読み込みを手動で実装する方法はありますか.gzファイルを読み込むときに既に自動的に解凍されていますか？

Answer 1

スパークのScalaプログラミング・ガイドのsection on "Hadoop Datasets"：

スパークは、Hadoopの分散ファイルシステム（HDFS）またはローカルのファイルシステムを含む、Hadoopのでサポートされている他のストレージシステム（に格納されている任意のファイルから配信されたデータセットを作成することができ、 Amazon S3、Hypertable、HBaseなど）が含まれます。 Sparkは、テキストファイル、シーケンスファイル、およびその他のHadoop InputFormatをサポートしています。

gzip入力ファイルのサポートは、Hadoopと同じように動作するはずです。たとえば、sc.textFile("myFile.gz")は、gzipで圧縮されたファイルを自動的に解凍して読み込む必要があります（textFile()は実際にはを使用するgzip圧縮ファイルをサポートするimplementedです）。

コメントで@ニック・chammasで述べたように：あなたはgzipされたファイルにsc.textFile()を呼び出す場合、スパークは（0.9.0のような）のみ1つのパーティションでRDD あなたを与えること

ノートは、 。これは、 のgzippedファイルがnot splittableであるためです。あなたは何とかRDD を再分割していない場合は、そのRDD上のすべての操作は、シングルコア