スパークケースクラスのスカラ汎用エンコーダ

Question

このメソッドをコンパイルするにはどうしたらいいですか？不思議なことに、暗黙のスパークはすでにインポートされています。

def loadDsFromHive[T <: Product](tableName: String, spark: SparkSession): Dataset[T] = { 
    import spark.implicits._ 
    spark.sql(s"SELECT * FROM $tableName").as[T] 
    } 

これはエラーです：

Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing other types will be added in future releases. 
[error]  spark.sql(s"SELECT * FROM $tableName").as[T] 

Answer 1

はorg.apache.spark.sql.SQLImplicitsのソースコードによると、あなたは存在する暗黙のEncoderためには、あなたのタイプのための型クラスTypeTagが必要になります。

import scala.reflect.runtime.universe.TypeTag 
def loadDsFromHive[T <: Product: TypeTag](tableName: String, spark: SparkSession): Dataset[T] = ...