S3からJsonファイルを読み込む最も速い方法は次のとおりです。Spark

Question

フォルダがあるディレクトリがあり、各フォルダには圧縮されたJSONファイル（.gz）が含まれています。

val df = sqlContext.jsonFile("s3://testData/*/*/*") 
df.show() 

例：：現在、私は次のようにやっている

testData/May/01/00/File.json.gz 

各圧縮ファイルを約11〜17 GBです。

私が持っている：

1. マスター：1 c3.4xlarge
2. コア：19 c3.4xlarge
3. スパーク1.5.2
4. EMR-4.2.0

圧縮ファイルには複数のjsonオブジェクト/ファイルがあります。このプロセスは、読んだだけでは膨大な時間がかかります（上記の2つのステートメントだけ）。これを行うより速い方法がありますか？スキーマも少し複雑です。データセットの分析にいくつかのクエリを書くつもりです。しかし、私はs3からデータを読み取るのにかかる時間について心配しています。

最大負荷は10TBです。キャッシュを使用してクエリを処理する予定です。

Answer 1

JSONが一様に構造化されている場合は、SparkにJSONファイルのスキーマを提供することをお勧めします。これにより、処理が大幅に高速化されるはずです。

スキーマを指定しないと、Sparkはファイル内のすべての行を最初に読み込み、観察したようにしばらく時間がかかるスキーマを推測します。

スキーマを作成する方法については、このドキュメントを参照してください：http://spark.apache.org/docs/latest/sql-programming-guide.html#programmatically-specifying-the-schema

次に、あなただけのjsonFileコールに作成したスキーマを追加する必要があると思います：

val df = sqlContext.jsonFile("s3://testData/*/*/*", mySchema) 

この時点で私は（ Spark 1.6.2を使用して）jsonFileが推奨されていないように思われるので、sqlContext.read.schema(mySchema).json(myJsonRDD)（myJsonRDDはRDD[String]です）に切り替える方が望ましいかもしれません。