PySpark：リストからデータフレームを作成できません

Question

こんにちは私は、文字列とnumpy浮動小数点64値を含むタプルのリストを持っています。私はそれをデータフレームを起動するように変更したいと思います。しかし、私は間違いを起こしています。リストとエラーは以下の通りです。

これは私のコードです：

schema = StructType([StructField("key", StringType(), True), StructField("value", DoubleType(), True)]) 

coef_df = spark.createDataFrame(coef_list, schema) 

Answer 1

@ user6910411が示すように、ここでは（まだ）SQLはnumpyの種類をサポートしていません

スパークあなたのために、もう少しシンプルなソリューションです（コメントも含めて）

import numpy as np 

data = [ 
    (np.unicode('100912strategy_id'), np.float64(-2.1412)), 
    (np.unicode('10exchange_ud'), np.float64(-1.2412))] 

df = (sc.parallelize(data) 
    .map(lambda x: (str(x[0]), float(x[1]))) 
    .toDF(["key","value"])) 
df.show() 

+-----------------+-------+ 
|    key| value| 
+-----------------+-------+ 
|100912strategy_id|-2.1412| 
| 10exchange_ud|-1.2412| 
+-----------------+-------+