SparkSQLを使用しないでJSONファイルを解析する方法は？

Question

私は次のJSONファイルを持っています。

{ 
    "reviewerID": "ABC1234", 
    "productID": "ABCDEF", 
    "reviewText": "GOOD!", 
    "rating": 5.0, 
}, 
{ 
    "reviewerID": "ABC5678", 
    "productID": "GFMKDS", 
    "reviewText": "Not bad!", 
    "rating": 3.0, 
} 

私はSparkSQLを使用せずに解析し、JSONパーサーを使用したいと考えています。

私が欲しいのは、テキストファイルです。

ABC1234::ABCDEF::5.0 
ABC5678::GFMKDS::3.0 

spark scalaでjsonパーサーを使用してjsonファイルを解析する方法はありますか？

Answer 1

tl; dr Spark SQLは、ファイルごとまたは行ごとに1つのJSON形式でJSONをサポートします。複数のJSONを1つのファイルにまとめて解析する場合は、ではなく現在という独自のSparkサポートを作成する必要があります。

可能な解決策は、あなたの人生をはるかに魅力的にする「ライター」（ファイルをより良く書いて、ファイルごとに1つのJSONを保存するプロセス）に尋ねることです。

これであまり意味がない場合は、mapPartitionsの変換をパーサーで使用して、何らかの形でパースを行う必要があります。

val input: RDD[String] = // ... load your JSONs here 
val jsons = jsonRDD.mapPartitions(json => // ... use your JSON parser here)