createDataFrame（）が失敗した理由を理解できません

Question

私はスパークのデータフレームを作成する標準的な "hello world"と思われるものを使用してデータフレームを作成しようとしています。助けて！上記のコード

from pyspark.sql.types import * 
schema = StructType([StructField("product", StringType(), True)]) 
l = [('foo')] 
rdd = sc.parallelize(l) 
df = sqlContext.createDataFrame(rdd, schema) 
df.show() 

エラー

ValueError: Unexpected tuple 'foo' with StructType` 

下のコードをスロー基本的に私は完全に困惑していますストレートpyspark.sql moduleから持ち上げています。

Answer 1

createDataFrameが引数としてRDD [行]を必要とするためです：

df = sqlContext.createDataFrame(rdd.map (lambda x: Row(x)), schema) 

はあなたに

完全なコードを正しいデータフレームを与える、テストスパーク1.6：

from pyspark.sql.types import * 

schema = StructType([StructField("product", StringType(), True)]) 
l = [('foo')] 
rdd = sc.parallelize(l) 

df = sqlContext.createDataFrame(rdd.map (lambda x: Row(x)), schema) 
df.show()