Sparkで分解された構造体に列を追加するには？

Question

は、私は次のようなデータを持っていると言う：

{"id":1, "payload":[{"foo":1, "lol":2},{"foo":2, "lol":2}]} 

私はペイロードを爆発し、このように、それに列を追加したいと思います：

df = df.select('id', F.explode('payload').alias('data')) 
df = df.withColumn('data.bar', F.col('data.foo') * 2) 

しかし、これは3列のデータフレームのような結果になります。

• id
• data
• data.bar

私が代わりにトップレベルの列を追加するので、爆発構造体に列を追加するにはどうすればよい

... data.barはdata構造体の一部となることが期待？

Answer 1

df = df.withColumn('data', f.struct(
    df['data']['foo'].alias('foo'), 
    (df['data']['foo'] * 2).alias('bar') 
)) 

これはになります：

root 
|-- id: long (nullable = true) 
|-- data: struct (nullable = false) 
| |-- col1: long (nullable = true) 
| |-- bar: long (nullable = true) 

UPDATE：

def func(x): 
    tmp = x.asDict() 
    tmp['foo'] = tmp.get('foo', 0) * 100 
    res = zip(*tmp.items()) 
    return Row(*res[0])(*res[1]) 

df = df.withColumn('data', f.UserDefinedFunction(func, StructType(
    [StructField('foo', StringType()), StructField('lol', StringType())]))(df['data'])) 

P.S.

スパークはほとんどサポートしていませんインプレース opreation。

入れ墨を実行するたびに、を実行すると、実際にはが置き換えられます。