avro

1熱

1答えて

コンフルエントなスキーマレジストリにネストされたavroスキーマを持たせるには？

私はレジストリに以下を入れているように見えることができませんでした、次のWeb UI https://schema-registry-ui.landoop.com と異なるものを試してみました： { "namespace": "test.avro", "type": "record", "name": "test", "fields": [ {

avro confluent 2017-05-04

---

0熱

2答えて

apacheのgetLogicalType（）関数avroapiが存在する場合でもnullを返します。

私はapache avroを使用していて、自分のスキーマから論理型を取得したいと考えています。私は関数getLogicalType()を使ってみましたが、nullを返します。私は何が間違っているのか分からない。私のスキーマは以下の通りです。続きは { "namespace": "example.avro", "type": "record", "name": "Use

java avro 2017-05-05

---

1熱

1答えて

Avroファイルは常にGenericRecordとして読み込まれます

私は指定されたスキーマを持つavroファイルを持っています。 Avroファイルを読み込んでいるときに、スキーマを指定していても、常にGenericDataとして出力されます。 val schema = Article.Schema$ val job = new Job() AvroJob.setInputKeySchema(job, schema) val rootDir = "path-t

scala apache-spark avro 2017-05-08

---

0熱

1答えて

アブロスキーマをコンフルエントなスキーマレジストリに保存

私は非常に単純なスキーマをPostmanを使用してレジストリに書き込もうとしており、登録するのが非常に困難でした。このプロセス全体の最初のステップに過ぎないシンプルなスキーマを登録するのは本当に複雑ですか？それとも何か不足していますか？私が使っているスキーマは以下の通りです： { "schema":{ "type" : "record", "name" : "User",

avro confluent confluent-kafka 2017-05-08

---

0熱

2答えて

orcテーブルからavroテーブルへの上書き挿入エラーですか？

私は、私は十分に明確に質問 これらを与えなかった場合に、より私に聞いてくださいがハイブ で実行されている。これは、 CREATE EXTERNAL TABLE cm PARTITIONED BY ( `year` STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STOR

hadoop hive hiveql avro overwrite 2017-05-10

---

0熱

1答えて

avrojsonに追加情報を追加できますか？

avro形式は、後に続くバイナリファイルの内容を記述するためのヘッダーとしてhadoopで使用されます。私の質問は、avroファイルのjson部分が、ハープに必要でない情報を含むように拡張できるかどうかです。典型的な使用例は、データの一部でもファイルの一部でもなくても、ファイルの発信者のようなメタデータと日付をファイルに添付することです。

json hadoop avro 2017-05-11

---

0熱

1答えて

Hadoop：Avroファイルのクエリ/読み込み

複雑なJSONオブジェクトからAvroフォーマットにインポートされたデータを保存しています。 JSONオブジェクトは、ネストされたオブジェクトとオブジェクトの配列を持つオブジェクトで表されます。 { "type" : "record", "name" : "userInfo", "namespace" : "my.example", "fields" : [

java hadoop hdfs avro apache-nifi 2017-05-14

---

2熱

1答えて

NiFiでjsonファイルのavroスキーマを推測するのに役立つヘルプが必要

有効なjsonファイルを取り込み、PutHiveStreamingプロセッサを使用して直接ハイブテーブルに入れるフローをNiFiで作成しようとしています。私のJSONは、次のようになります。 { "Raw_Json": { "SystemInfo": { "Id": "a string ID", "TM": null, "CountID": "a s

json avro apache-nifi 2017-05-22

---

0熱

1答えて

ハイブトランザクションテーブルのデータを更新すると、HDFS内のファイルがファイルの作成/更新される方法

ハイブでトランザクションを有効にすることで、レコードを更新できます。私のハイブテーブルにAVROフォーマットを使用していると仮定します。ハイブが（だって複製因子は3である）AVROファイルを更新し、別のサーバーに再びそれらを複製するの面倒をどのよう https://hortonworks.com/hadoop-tutorial/using-hive-acid-transactions-insert

hive avro 2017-05-23

---

0熱

1答えて

ハイブはネストされたavroスキーマのテーブルを作成できません

ネストされたavroスキーマを使用してハイブテーブルを作成しようとしています。しかし、それは動作しません。私はcdh5.7.2でハイブ1.1を使用しています。 [ { "type": "record", "name": "Id", "namespace": "com.test.app_list", "doc": "Device ID",

hive nested schema avro 2017-05-27

---