CSVファイルをAVROにスカラーで変換する

Question

スカラーが初めてです。 CSVファイルをavro形式に変換しようとしています。私はこれについてgoogleして何かを見つけることができませんでした。私は私のサンプル入力ファイルとAVSCフォーマット（再びGoogleから）を与えました。

{"namespace": "example.avro", 
"type": "record", 
"name": "User", 
"fields": [ 
    {"name": "name", "type": "string"}, 
    {"name": "favorite_number", "type": ["int", "null"]}, 
    {"name": "favorite_color", "type": ["string", "null"]} 
] 
} 

サンプルファイル：また

name_1,12,yellow 
name_2,22,red 
name_3,32,green 

、どのように私は、コントロールA区切りファイルにこれをスケールアップすることができます。

Answer 1

最も明白な解決策は、databricksのspark-avroの使用です。唯一あなたがthis script on python

を使用することができ、テストの目的のために、代替のように

import com.databricks.spark.avro._ 
import org.apache.spark.sql.SparkSession 

val spark = SparkSession.builder().master("local").getOrCreate() 
val df = spark.read.format("csv").load("data.csv") 
df.write.avro("converted.avro") 

： それはこのようになります