Spark SQLからscala DataFrameをカラムリストに変換する

-1

spark sql DataframeをListを含むorg.apache.spark.sql.Columnに変換することは可能ですか？Spark SQLからscala DataFrameをカラムリストに変換する

データフレームの各行は、リスト内の要素になります。

2017-10-05 Ronnie Phelps

質問は不明です：まず、 'org.apache.spark.sql.Column'は単に「メタデータ」であり、実際のデータを保持していません。 1つの列と複数のレコードを持つDataFrameを、_record_と_column_を持つ新しいDataFrameに変換することを意味しますか？その列はList型ですか？なぜあなたはそれをしたいのですか？そうすることで、Sparkにすべてのデータが1つのノードに格納されるようになり、基本的にSparkの分散能力は無用になります。 –

コメントにデータ/コードを投稿しないでください。この情報を含めるには投稿を編集してください（https://stackoverflow.com/posts/46591305/edit）。 –

号データフレームは、（弱い）列がリストをラップすることはできません、何LISTTYPEがない型付け、およびされているので。

これはArrayTypeです。そのquestionはすでに回答済みです。

出典

2017-10-05 20:26:39

Spark SQLからscala DataFrameをカラムリストに変換する

答えて

関連する問題