cosmosdbのネストされたスキーマをsparkコネクタに保存できますか？

Question

私はcosmosdbコレクションをスパークデータフレームに取り込むために、蒼空のcosmosdbを開始してコネクタをスパークさせました。残念ながら、select * from collクエリでは、ネストされた構造体を文字列に平坦化します。この文字列イマイチの形式さえJSONので、私はそれを解析する方法を知らないが、フォーマットは次のようになります。

{key1=value,key2=anothervalue} 

はcosmosdbコネクタが火花で入れ子構造を維持することができますが道であるか、方法があります私はsparkでこの文字列形式を解析できますか？

Answer 1

使用しているSparkコネクタのバージョンは、Zachですか？

コネクタは、データのサブセットをサンプリングすることによってスキーマを導出します。プロパティの型が適切でない場合は、Stringを使用します。 schema_samplesize configを使用してサンプリングサイズを増やすことができます。デフォルト値は1000です。プロパティ値に複数のタイプがある可能性はありますか？それともStructTypeとNullですか？後者の場合は、バージョン0.0.5で修正されると思います。