データフレームに大きな構造体列を追加する方法

Question

データフレームに構造体列を追加しますが、構造体にはフィールド以上が追加されます。
ケースクラスはstructカラムに変更できますが、ケースクラスは22フィールド以下の制限があります（オンラインスパークは2.10.4のスカラで1.6.3です）。
できます通常のクラスこれを行いますか？私はどのような機能やインターフェイスを実装する必要がありますか？
"org.apache.spark.sql.functions.struct"もありますが、構造体のフィールドの名前を設定できないようです。 ありがとうございます。この構造体のためにケースクラスを定義する必要はありません

Answer 1

データフレームを読んでいますが、構造体のフィールドの名前を設定することができないようですできます。

できます。たとえば：その可能.https場合

import org.apache.spark.sql.functions._ 

spark.range(1).withColumn("foo", 
    struct($"id".alias("x"), lit("foo").alias("y"), struct($"id".alias("bar"))) 
).printSchema 

root 
|-- id: long (nullable = false) 
|-- foo: struct (nullable = false) 
| |-- x: long (nullable = false) 
| |-- y: string (nullable = false) 
| |-- col3: struct (nullable = false) 
| | |-- bar: long (nullable = false) 

Answer 2

、あなたはこのよう構造体の型を作成することができます

val struct = 
    StructType(
    StructField("a", IntegerType, true) :: 
    StructField("b", LongType, false) :: 
    StructField("c", BooleanType, false) :: Nil) 

この構造体には、任意の長さを持つことができます。

あなたは、このよう

val df = sparkSession.read.schema(struct).//your read method