csvファイルを含むスパークデータフレームの列のうちの1つのCSV文字列を作成することは、私は以下のようにDFを持って

Question

値：

df.show() 

1,2 
1,4 
1,4,5 

データフレームは、それぞれがCSV文字列のみ1列と3レコードを持っていると私は、次のものを作成したいです上のデータフレームのCSV文字列：

1,2,4,5 

Answer 1

出力を見ると、ドライバで収集する必要があります。これを行うには、flatMap & toLocalIteratorを使用して、要素をリストとして取得します。ここで

は一例です：

def csv2rows(x): 
    for ele in x.split(','): 
     yield ele 
df.flatMap(csv2rows).distinct().toLocalIterator()