avro

1熱

1答えて

日付/タイムスタンプ文字列をOracle DBの日付タイムスタンプ列に書き込む方法は？

AVROファイル形式とHive外部表を使用してデータにアクセスするために、いくつかのOracle表をHadoopに保管しました。私はインポート時にOracleのTO_CHAR関数を使用して、書式設定されたStringとしてDateおよびTimestampの値を格納しました。ここで、この正確なデータをSparkで日付列を持つOracleテーブルにエクスポートしたいとします。私は、次のコマンドを使

0熱

1答えて

1つのフィールドを追加してJava API経由でAvroスキーマを拡張する

私はScalaのAvro用Java APIを使用し、Avro GenericRecord/SchemaBuilder APIを使用して既存のレコードスキーマにフィールドを追加する簡単なプログラマチックな方法があるのだろうか？

0熱

1答えて

クラスなしでAvroスキーマを作成する（-Object）

現時点では、クラスをavscスキーマにシリアル化しています。 DatasetDescriptor desc = new DatasetDescriptor.Builder().schema(ClassName.class).build(); しかし、私は、任意のクラスを動的なしAVSC を作成する必要があります。これはかなり良い作品。これは可能ですか？

0熱

1答えて

Hadoopの - アブロ：java.lang.Exceptionを：java.lang.NoClassDefFoundErrorが：ORG /アブロ/ apacheの/ Hadoopの/ IO/AvroKeyComparator

私は地図を開発していますが、固定長レコードを読み、アブロファイルとして書き込むためのプログラムを削減します。これはドラフト形式です。実行中に、私は以下のエラーが表示されます。 java.lang.Exception: java.lang.NoClassDefFoundError: org/apache/avro/hadoop/io/AvroKeyComparator at org.apa

0熱

1答えて

Avroシリアライザとデシリアライザkafka java api

Kafka Avroシリアライザとデシリアライザは動作していません。私はkafkaコンソールのコンシューマーを使ってメッセージを消費しようとしました。メッセージが公開されているのがわかりました。 public class AvroProducer<T> { private static Properties props; static { props = new

0熱

1答えて

confluent-kafka avro with pipをインストールする

私はmacOs Sierra上のpython3でconfluent-kafkaのavroパッケージをインストールしようとしています。 confluent-kafkaパッケージをインストールすると問題なく動作します。私はアブロパッケージをインストールしようとすると、問題がある： pip install confluent-kafka[avro] 私は言っては、bashからエラーメッセージが表示され

0熱

1答えて

node.jsのバイナリRPC

一般に、node.js環境のJavascriptで書かれたサーバが、他のサーバによって提供されるサービスからエンドユーザへの応答を組み立てていると仮定すると、 JSONを話す？ RPC呼び出しは通常XDR（バイナリ）またはJSON（ASCII）を使用します。これらのケースのためにあなたのために退屈なソケットのすべての世話をする便利な図書館があります。 Node.js RPCはJSONのRPCで使用

0熱

1答えて

avro.schema.SchemaParseException：不明な名前付きスキーマ 'record'、既知の名前：['<namespace_name>。 <name> ']

私は以下のようにネストされたJSON構造を持っています。私はavro.schema.Parse python3を使用して私はエラーが発生します。 avro.schema.SchemaParseException: Unknown named schema 'record', known names:[data.info] {"namespace" : "data", "type": "r

0熱

1答えて

Spring Cloud Data FlowでAvroを実装する

データベースからレコードを読み込み、Avroスキーマに変換してシンクアプリケーションが消費するように渡すプロセッサにこれらを渡すSpring Cloud Dataflowストリームを実装しようとしています。私はデータをSQLデータベースから私のソースアプリケーションに流して、問題なく問題なくカフカバインダー経由でデータを渡しました。プロセッサからシンクアプリケーションのシリアライズ/デシリアライ

-3熱

1答えて

Mapreduceを使用してhadoopのAvrofileへのテキストファイル

mapreduceを使用してhadoop hdfsでテキストファイルをavrofileに変換する必要があります。すでにhdfsにテキストファイルが置かれています。 mapreduceでの実装方法がわかりませんでした。