avro

1熱

1答えて

avroをFlinkからscalaに読み込む方法はありますか？バッチ/ストリーム/テーブルで同じですか：StreamExecutionEnvironment/ExecutionEnvironment/TableEnvironment？それはのようなSTHのようになります。val custTS: TableSource = new AvroInputFormat("/path/to/file",

0熱

1答えて

hbaseから画像を取得してローカルファイルシステムに保存する方法

私はflumeエージェントを使用して画像（.jpg）をHBaseに転送しました。今はそのイメージを取り出してディスク（ローカルファイルシステム）に保存したいのですが、ディスクに格納されている実際のイメージ&にイメージ（Avroとして保存）を変換できるユーティリティはありますか？

0熱

1答えて

スキーマを使用したAvroメッセージ

したがって、コンフルエントなカフカベースのエコシステムでAvroを使用して通信する予定です。 Avroの私の現在の理解は、各メッセージがそのスキーマを運ぶことです。その場合、バージョンの更新を解決するためだけにスキーマレジストリが必要ですか？各メッセージでスキーマを運ぶと、スキーマレジストリのようにメッセージIDをスキーマにマップする必要がなくなるので、私は尋ねます。または私はここに何かを逃して

0熱

1答えて

CSVファイルをAVROにスカラーで変換する

スカラーが初めてです。 CSVファイルをavro形式に変換しようとしています。私はこれについてgoogleして何かを見つけることができませんでした。私は私のサンプル入力ファイルとAVSCフォーマット（再びGoogleから）を与えました。 {"namespace": "example.avro", "type": "record", "name": "User", "fields": [

1熱

1答えて

Avroスキーマに複数のレコードを含めるにはどうすればいいですか？

私はApache Avroを初めて使用しています。私はパーサーを使用してスキーマを読んでデータをシリアライズしています。以下の詳細には私のスキーマが含まれています。同じスキーマに複数のレコードを含める必要があります。 { "namespace": "tutorial.model", "type": "record", "name": "Employee", "fiel

1熱

2答えて

Hive（avroテーブル）をスキーマレジストリに統合する方法は？

Hiveは、Avroスキーマを定義できる2つのテーブルプロパティを提供します。avro.schema.literalおよびavro.schema.url（前者は、スキーマを処理するhdfsパスまたはhttpエンドポイントを指定できます）。私は自分のスキーマサービスとしてSchema Registryを使用したいのですが、問題が大きなJSONオブジェクトに包まれたそのendpoints戻りスキーマで

0熱

2答えて

Sparkがサポートするavroおよびparquet形式のバージョンは何ですか？

spark 2.0はavroファイルとparquetファイルをサポートしていますか？どのバージョン？私はspark-avro_2.10-0.1.jarをダウンロードし、ロード中にこのエラーを持っている： Name: java.lang.IncompatibleClassChangeError Message: org.apache.spark.sql.sources.TableScan St

0熱

1答えて

PythonでKafka Avro文字列をデコード/逆シリアル化する方法

ユーザエージェント、場所などのフィールドを持つjson辞書付きのクリックストリームデータを表すPythonのKafka Avroメッセージをリモートサーバから受信しています（Confluent Kafka Pythonライブラリのコンシューマを使用しています）、URLなどです。メッセージは次のようになります。 b'\x01\x00\x00\xde\x9e\xa8\xd5\x8fW\xec\x9a

0熱

1答えて

EMR/Sparkを使用してJSONをパーケットに変換

Parquetに変換する必要があるファイルは、沢山あるJSONです。この（ネストされたプロパティがトップレベルを作り、接尾辞として_を取得している）されて { "foo": "bar", "props": { "prop1": "val1", "prop2": "val2" } } そして私は、その構造Parquetファイルにそれらを変換する