java.lang.UnsupportedOperationException：タイプMyClassのスキーマはサポートされていません

Question

私はSpark 1.5.0を使用していますが、私のrddからデータフレームを作成する際に問題があります。ここ

コードである：

スレッドの例外は、 "メイン" java.lang.UnsupportedOperationExceptionが：型MyClassのため スキーマが

がサポートされていない。ここで

case class MyC (myclass: MyClass) 

    val df = rdd.map {t => MyC(t)}.toDF("cust") 
    df.show() 

はエラーメッセージであります

これに関するお手伝いをさせていただきます。

Answer 1

スパークはリフレクションを使用してデータフレームスキーマを推論しますが、任意のクラスでリフレクションを使用することはできません。私はSparkの文書よりも良い答えを述べることができるかどうか分かりません。there's a section dedicated to exactly this。

具体的には、問題は、Sparkがスキーマを推測できる種類が限られていることです。配列、文字列、配列/配列はすべて（これらの型の要素を含む大文字と小文字のクラス）がサポートされていますが、任意のクラスMyClassはサポートされていません。