AzureのCSVからAVROへの変換

Question

空のデータレイクストアに保存されたCSVファイルを、作成されたスキームのavroファイルに変換しようとしています。同じ目的を持ったサンプルソースコードはありますか？

Answer 1

これにAzure Data Lake Analyticsを使用できます。 https://github.com/Azure/usql/blob/master/Examples/DataFormats/Microsoft.Analytics.Samples.Formats/Avro/AvroExtractor.csにサンプルAvro抽出プログラムがあります。コードを出力装置に簡単に適合させることができます。

もう1つの可能性は、データレイクストアの上にHDInsightクラスタを起動し、Pig、Hive、Sparkを使用することです。