Beanクラスでは循環参照はできませんが、クラスクラスorg.apache.avro.Schemaの循環参照があります

Question

Avroオブジェクト（MyAvroClsassのオブジェクトなど）を含むjavaRDDをjava sparkのデータフレームに変換したいと考えています。

JavaRDD<Row> test; 
Dataset<Row> outputDF = sparksession.createDataFrame(test.rdd(),<MyAvroClsass>.class); 

Answer 1

これはに関連している：これに対処するために火花アブロプロジェクトで行われている作業はあり Infinite recursion in createDataFrame for avro types

私は

Cannot have circular references in bean class, but got the circular reference of class class org.apache.avro.Schema 

ERROR以下のコードを取得しています問題は https://github.com/databricks/spark-avro/pull/217と https://github.com/databricks/spark-avro/pull/216

これをマージすると、生成されたクラスのgetSchema（）関数の循環参照の問題がなく、AvroオブジェクトのRDDをDataSetに変換する関数が存在する必要があります（DataSetがDataFrameに相当します） 。