avro4s

2熱

1答えて

私はAVROを初めてお使いになり、簡単な質問があればよろしくお願いいたします。レコードコールにAVROスキーマを使用しているユースケースがあります。のは、私が入力 { "CustId" : "abc1234" "sessionID" : "000-0000-00000" } のようなものである場合 { "name": "abc", "namepsa

0熱

2答えて

csv avaなしでapache spark scala

Apache Sparkを使用せずにscvファイルをAvroに変換する方法はありますか？私はポストのほとんどが私の場合はできないスパークを使用して示唆している参照してください。私は別のファイルにスキーマを持っています。私はスキーマを使用してcsvをavroに変換するカスタムシリアライザとデシリアライザを考えていました。どんな種類のリファレンスも私のために働くだろう。ありがとう

0熱

1答えて

AVROを使用しているフィールドのデータ変換

AVROを初めて使用しています。私たちはAVROスキーマを使ってデータを読み始めました。ここでは、読んでいる間にデータを切り捨てる必要があるユースケースがあります。は私のアブロschcema今すぐデータがこのようなものです。この { "name": "table", "namepsace": "csd", "type": "record", "field

0熱

1答えて

Avro Mapreduceジョブが失敗するorg.apache.avro.AvroTypeException

私は文字列値と配列値の両方を持つavroファイルのマップを減らす問題に直面しています。 org.apache.avro.AvroTypeException： `Describe hdfs:/test/test.avro number STRING totalProductFee STRING productID