データフレームを起動するためにpythonリストを追加するには？

Question

私は10000 * 1のpythonリストを持っています。私はそれをスパークデータフレームに追加したいと思います。データフレームは10000ローです。

Answer 1

あなたは、

from pyspark.sql import functions as f 

df = spark.sparkContext.parallelize([('idx',)]).toDF() 
res = df.withColumn('literal_col', f.lit('strings')) 
res.show(truncate=False) 

# output: 
+---+-----------+ 
|_1 |literal_col| 
+---+-----------+ 
|idx|strings | 
+---+-----------+ 

Answer 2

まずリテラル値を追加し、リストからデータフレームを作成したいように見えます：

new_df = spark.createDataFrame([(value,) for value in list], ['id']) 

その後組合双方のデータフレーム：

base.union(new_df).show() 

は、その列の名前を覚えておいてください両方のデータフレームのタイプが同じでなければなりません。