pyspark.sql.dataframeに新しい列としてPySpark RDDを追加します。

Question

私は、各行がニュース記事であるpyspark.sql.dataframeを持っています。私は各記事に含まれる言葉を表すRDDを持っています。新しい記事のデータフレームに単語のRDDを「単語」という列として追加したいと思います。私は

df.withColumn('words', words_rdd) 

を試してみましたが、私はエラー

AssertionError: col should be Column 

は、データフレームは、この

Articles 
the cat and dog ran 
we went to the park 
today it will rain 

のようになりますが、私は3Kのニュース記事があり得ます。

は、私は、このような削除ストップワードとしてテキストをきれいにする機能を適用し、私はこのようになりますRDDを持っている：

[[cat, dog, ran],[we, went, park],[today, will, rain]] 

私はこのように見えるように、私のデータフレームを取得しようとしている：

Articles     Words 
the cat and dog ran  [cat, dog, ran] 
we went to the park  [we, went, park] 
today it will rain  [today, will, rain] 

Answer 1

なぜあなたはrddをデータフレームに戻したいのですか？むしろ、記事から直接新しい列を作成したいと思います。それを行うには複数の方法がここにありますが、私の5セントは、以下のとおりです。

from pyspark.sql import Row 
from pyspark.sql.context import SQLContext 
sqlCtx = SQLContext(sc) # sc is the sparkcontext 

x = [Row(Articles='the cat and dog ran'),Row(Articles='we went to the park'),Row(Articles='today it will rain')] 
df = sqlCtx.createDataFrame(x) 

df2 = df.map(lambda x:tuple([x.Articles,x.Articles.split(' ')])).toDF(['Articles','words']) 
df2.show() 

あなたは次のような出力が得られます。

Articles     words 
the cat and dog ran  [the, cat, and, dog, ran] 
we went to the park  [we, went, to, the, park] 
today it will rain  [today, it, will, rain] 

は、あなたが何かを達成するために探していたなら、私に教えてください。

Answer 2

rdd1 = spark.sparkContext.parallelize([1, 2, 3, 5]) 
# make some transformation on rdd1: 
rdd2 = rdd.map(lambda n: True if n % 2 else False) 
# Append each row in rdd2 to those in rdd1. 
rdd1.zip(rdd2).collect()