spark scalaの複数の行ファイルからJSONファイルを読み込む

Question

私はScalaでsparkを学んでいます。

[ 
    { 
    "name": "ali", 
    "age": "13", 
    "phone": "09123455737", 
    "sex": "m" 
    },{ 
    "name": "amir", 
    "age": "24", 
    "phone": "09123475737", 
    "sex": "m" 
    } 
] 

をし、ちょうどこのコードがある：私はちょうどcorrupted_row : String何も が、一列にすべての人を入れて（またはオブジェクト）、コードを受信しない

val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
val jsonFile = sqlContext.read.json("path-to-json-file") 

は、次のように私は、JSONファイルを持っていますうまく動作します

sparkでJSON sqlContextを複数行読み込むにはどうすればよいですか？

Answer 1

あなたはRDDにそれを自分で読み、その後、データセットに変換する必要があります：

spark.read.json(sparkContext.wholeTextFiles(...).values)