jsonファイルを1行に変換する

Question

私は巨大な.jsonファイルを以下のように持っています。私はそのJSONをSparkのデータフレームに変換したいと思います。

{ 
    "movie": { 
     "id": 1, 
     "name": "test" 
    } 
} 

私は、次のコードを実行すると、私は_corrupt_recordエラーを取得する：

どう

{ "movie": { "id": 1, "name": "test test" } } 

：

val df = sqlContext.read.json("example.json") 
df.first() 

最近、私は、Sparkだけのように、1行JSONファイルをサポートしていることを学びましたJSONテキストを複数の行から1行に変換できますか？

Answer 1

このツールは、複数行のJSONコードを取得し、「minify」というプロセスを通じて、すべてを1行に圧縮します。