avro

1熱

1答えて

私はマルチモジュールプロジェクトを持っています。いくつかの一般的なまたは一般的なものを定義するコアモジュールがあります。そのコアモジュールにavdlファイルを定義しました。そして、コアモジュールのavdlファイルで定義されている型を使用する他のモジュールで、他のavdlファイルを定義したいと思います。 avro mavenプラグインでこれを行うにはどうしてですか？

0熱

1答えて

SBTがAvroクラスを生成しない

私はsbtで新しいプロジェクトを作成していますが、私はavroファイルを生成するのに苦労しています。 $ cat ~/.sbt/0.13/plugins/plugins.sbt addSbtPlugin("org.ensime" % "sbt-ensime" % "2.0.1") addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plug

0熱

1答えて

Springコンフルエントスキーマデシリアライズの例

spring-kafka 2.0.0.Releaseを使用していて、コンフルエントなスキーマレジストリを使用してメッセージをデシリアライズするソースを作成した人はいますか？私が解決しようとしている問題は、MongoDBのイベントを発生させるkafka接続プラットフォームにDebezium CDCコネクタがあることです。私はそれらのイベントを変換して再ストリームを傍受する必要があります。イベントを

0熱

1答えて

pythonでavroレコードにランダムアクセスする方法は？

Iインデックス/アブロファイル（KB/GB）のセットを持っている、私はそれを読むために、次のプログラムを使用し import avro.schema from avro.datafile import DataFileReader from avro.io import DatumReader, DatumWriter schema = avro.schema.Parse(open(r"h

0熱

1答えて

アブロスキーマ障害

は、私は以下の目的を持っています。私はこのためのスキーマを考案しようとしています。しかし、:(動作していないよう私は、次の2つを試してみました：。。 { "name": "ProductsOrNull", "type": ["null", { "type": "array", "name": "Products", "items": {

1熱

2答えて

Spark AVRO with BigQuery

私は、HiveとBigQueryで外部テーブルを作成しようとしていますが、AvroフォーマットでGoogle Storageに保存されているものと同じデータをSparkで書いています。私はハイブを使用してテーブルを作成する場合がありアブロバージョン/パッケージ間の同じ違いはあるが、をスパーク2.2.0とDataprocクラスタを使用して、スパーク・アブロ4.0.0および2.1.1ハイブだし、

0熱

1答えて

Scala Play JSONタイプ変換

私は現在、Play！のタイプ変換に苦労しています。また val myJson = Json.parse(...) val mapping = Map[String, Option(JsValue)]( "id" -> (myJson \ "Path" \ stringValue), "num" -> (myJson \ "Path" \ intValue), "pr

0熱

1答えて

複数のカフカトピックを異なるパスでs3にシンクします

Flink 1.4のリリースで、FlinkKafkaConsumer011にはトピックのための正規表現をread-rad関数btwに渡す機能があります。今、私は、単一のFlinkアプリケーションがBucketingSinkを使ってこれらのトピック（Avroメッセージ）のそれぞれをシンクしてs3内の場所を区切る方法があるかどうか疑問に思っています。例： s3://bucket/topic_1 s3

0熱

1答えて

avroスキーマを知らなくても、Avroエンコードされたkafkaメッセージをスカラーで読む方法は？

メッセージがAvroでエンコードされ、スキーマが動的に変更されたトピックからKafkaメッセージを読み込むには、ScalaまたはJavaクライアントを作成する必要があります。 Avroファイルとして記述することなく、これらのメッセージを読むための解決策を提案してください。

2熱

2答えて

Flink 1.3.2から1.4.0へのアップグレードhadoop FileSystemとPathの問題

最近Flink 1.3.2から1.4.0へのアップグレードを試みましたが、もうorg.apache.hadoop.fs.{FileSystem, Path}をインポートできない問題があります。問題は、2つの場所で発生している： ParquetWriter： import org.apache.avro.Schema import org.apache.avro.generic.GenericRe