私はSparkを初めて使いました。複雑なオブジェクト（ネストされた）や複雑なjsonsをSparkのParquetとして保存する方法があるかどうかを調べようとしています。私はKite SDKを認識していますが、Map/Reduceを使用していることを理解しています。複雑なjsonオブジェクトや複雑なオブジェクトをSparkのParquetとして保存するにはどうすればいいですか？
私は周りを見回しましたが、解決策を見つけることができませんでした。
ありがとうございました。
case class Address(city:String, block:String);
case class Person(name:String,age:String, address:Address);
val people = sc.parallelize(List(Person("a", "b", Address("a", "b")), Person("c", "d", Address("c", "d"))));
val df = sqlContext.createDataFrame(people);
df.write.mode("overwrite").parquet("/tmp/people.parquet")
この回答は役に立ちましたか？ Spark SQL: Nested classes to parquet error
しかし、私はここで自分の質問に答えました。これを参考にして、他の誰かが例を探すのを助けてください。
はい、スパークを使って寄木張りのオブジェクトを保存することができます。データの例と予想される結果があります – Mehrez
@Mehrez予想される結果がどういう意味なのでしょうか？結果は、寄木細工仕様（定義と繰り返しレベル）でサポートされているネストされた構造を理解している寄木細工のファイルになります – IceMan
あなたの問題はきれいではない、あなたのコードに例外がありますか、またはネストされたオブジェクトを寄木細工？ – Mehrez