ScalaでsparkでJSON Dataframeを事前印刷するにはどうすればよいですか？

Question

私は有効なJSON JSONファイルに書き込みたいことからデータフレームがあります。

私の現在のコードは次のようになります。

val df: DataFrame = myFun(...) 
df.toJSON.saveAsTextFile("myFile.json") 

出力の形式は次のとおりです。

{}{}{} 

を

ファイルのコンテンツを有効なJSONとして整理する方法を教えてください：

[{},{},{}] 

Answer 1

私の回避策を使用してスプレーJSON：

def apply(df: DataFrame): Option[String] = { 
    val collectedData = df.toJSON.coalesce(1).collect().mkString("\n") 
    val json = "[" + ("}\n".r replaceAllIn (collectedData, "},\n")) + "]" 
    val pretty = json.parseJson.prettyPrint 
    Some(s"$pretty\n") 
} 

醜いと非効率的な私は、単一の適切なJSONファイルを望んでいないと思われる場合には、ビッグデータの巨大ではありません私は最終的な結果を提供したいんとにかく

Answer 2

は、私はあなたがScalaとの代替を見つけると確信しています。この（パイソン）

import json 
from bson import json_util 
from bson.json_util import dumps 
with open('myJson.json', 'w') as outfile: 
     json.dump(myDF, outfile) 

を使用しています。