和演算は、例外TypeErrorを与える

Question

私はPySparkで、このようなデータフレームを持っている（これはテイクの結果である（3）、データフレームは非常に大きいです）：

sc = SparkContext() 
df = [Row(owner=u'u1', a_d=0.1), Row(owner=u'u2', a_d=0.0), Row(owner=u'u1', a_d=0.3)] 

同じ所有者にはさらに多くの行があります。私は何をする必要があることただし、スキーマがdouble型の値ではなく、文字列（これが含まれている、所有者ごとのフィールドa_dの値を合計するグループ化した後、

b = df.groupBy('owner').agg(sum('a_d').alias('a_d_sum')) 

などが、これは誤り

TypeError: unsupported operand type(s) for +: 'int' and 'str'

をスローしていますprintSchema（）から来ます）：

root 
|-- owner: string (nullable = true) 
|-- a_d: double (nullable = true) 

ここで何が起こっていますか？

Answer 1

正しい合計機能を使用していませんが、built-inの機能はsum（デフォルト）です。

のでbuild-in機能が動作しません理由は、それが渡された列の名前が文字列とbuilt-in関数は、文字列に適用することができないとして、ここで引数として反復可能を取るだ です。 Ref. Python Official Documentation。

あなたはpyspark.sql.functionsから適切な機能をインポートする必要があります：あなたは、すべての行が罰金であることを確認してください

from pyspark.sql import Row 
from pyspark.sql.functions import sum 

df = sqlContext.createDataFrame([Row(owner=u'u1', a_d=0.1), Row(owner=u'u2', a_d=0.0), Row(owner=u'u1', a_d=0.3)]) 

df2 = df.groupBy('owner').agg(sum('a_d').alias('a_d_sum')) 
df2.show() 

# +-----+-------+ 
# |owner|a_d_sum| 
# +-----+-------+ 
# | u1| 0.4| 
# | u2| 0.0| 
# +-----+-------+