avro

1熱

1答えて

bq CLIユーティリティを使用して、Googleストレージに格納された（同じスキーマタイプの）多数のAVROファイルを正常に読み込みました。しかし、BigQueryのにロードしている間、私は非常に不可解なエラーを取得していますAVROファイルの一部のため、誤差が言う： Apacheのアブロライブラリがfollwingエラーでデータの読み込みに失敗しました：EOF に達した（エラーコード：AVR

1熱

1答えて

python avroライブラリを使用するときのスキーマの読み取りと書き込み

avro仕様では、一致した場合に異なる書き込みと読み取りスキーマを使用できます。この仕様では、エイリアスが読み取りスキーマと書き込みスキーマの違いに対応できるようになりました。次のpython 2.7ではこれを説明しようとしています。 import uuid import avro.schema import json from avro.datafile import DataFileRe

0熱

1答えて

AVRO形式で保存しようとしたときにPIGスクリプトエラー：データム2がユニオン["null"、 "string"]にありません

AVRO形式でデータを保存しようとしていますが、エラー。データム2は共用体ではありません["null"、 "string"]それはどういう意味ですか？解析用のxml： REGISTER piggybank.jar REGISTER /opt/cloudera/parcels/CDH/lib/pig/lib/avro.jar REGISTER /opt/cloudera/parcels/CDH

1熱

2答えて

作業ではありませんSerializableの例外

val file = File.createTempFile("temp", ".avro") val schema = new Schema.Parser().parse(st) val datumWriter = new GenericDatumWriter[GenericData.Record](schema) val dataFileWriter = new DataFileWrit

-1熱

1答えて

AzureのCSVからAVROへの変換

空のデータレイクストアに保存されたCSVファイルを、作成されたスキームのavroファイルに変換しようとしています。同じ目的を持ったサンプルソースコードはありますか？

1熱

2答えて

スキーマレジストリを使用せずにkafkaコンシューマからスキーマを取得する

AvroとKafkaを初めて使用しています。私のavroの理解から、すべてのavroレコードにはスキーマが添付されています。カフカプロデューサは、データをバイト配列に変換し、それをkafkaコンシューマに送信します。消費者は送信されたデータを返します。私の質問は、スキーマレジストリの概念を持たずに、カフカ消費者からスキーマを取得する方法です。スキーマレジストリを使用せずにkafkaコンシューマから

0熱

1答えて

Avroマップのシリアル化/逆シリアル化の問題

現在、私はAvro 1.8.0を使用してオブジェクトをシリアル化/逆シリアル化しますが、特にjava.util.Mapオブジェクトの場合は問題に直面しています。他のタイプのオブジェクトで問題に直面していません。ここサンプルコード - デシリアライズ方法で class AvroUtils { public byte[] serialize(Object payload) {

2熱

1答えて

Reactive KafkaをConfluent Schema Registryと連携させるAvroスキーマ

Reactive Kafka（https://github.com/akka/reactive-kafka）をConfluent Schema Registry Avroスキーマと連携させるには？ここに私のサンプルコードは次のとおりです。 def create(groupId: String)(implicit system: ActorSystem): Source[ConsumerMessag

1熱

1答えて

AvroがSnappyCodecを探していますNoClassDefFoundErrorを投げています

私はウェブ全体を見て、これがかなり一般的なエラーであることを発見しましたが、解決策は私を助けませんでした。私はカフカのトピックから読んでいます。今まで私は、そうやって問題を持っていなかったが、私はAWS環境ではなく、私のIDE（IntelliJの）にFLINKクラスタまでに実行したときに、今私は、このエラーを取得しています： NoClassDefFoundError: org/xerial/sn

1熱

1答えて

HBaseカラムに保存されたAVRO構造体を読み取る

SparkおよびHBaseの新機能です。私はHBaseテーブルのバックアップを取っています。これらのバックアップはS3バケットにあります。 conf.set("io.serializations", "org.apache.hadoop.io.serializer.WritableSerialization,org.apache.hadoop.hbase.mapreduce.ResultSeria