なぜDataFrameReaderにavroファイルを読み取るための "avro"メソッドがないのですか？

Question

DataFrameReaderには、parquest、ORCなどのファイルタイプを読み取るメソッドがありますが、Avroは読み取ることができません。理由は何でしょうか？

Answer 1

parquetとorcは組み込みのデータソースなので、 Scalaを使用している場合は、Spark Avroを使用し、com.databricks.spark.avro._をインポートすると、avroというメソッドが生成されます。このメソッドは、Scalaの暗黙のクラスによって実装されます。