spark-avro

1熱

1答えて

avoファイル形式にsqoopを使用して、選択した列のテーブルをインポートしました。 avro-toolsを使用すると、日付が奇妙な形式で表示されます（否定的）。どのように日付をデコードできますか？ {"first_name":{"string":"Mary"},"last_name": {"string":"Botman"},"birth_date":{"long":-345772800000}

1熱

1答えて

avro形式でデータセットを照会するにはどうすればよいですか？

これは私がアブロと同じようにしようとしたが、それは私がcom.databricks.spark.avroを使用している場合でも、私にエラーを与え続け寄木細工 val sqlDF = spark.sql("SELECT DISTINCT field FROM parquet.`file-path'") で動作します。私は次のクエリを実行すると：ヴァルsqlDF = spark.sql（ "ア

0熱

2答えて

SparkタスクでElasticSearchにデータを保存する

KafkaとSparkを介してAvroメッセージのストリームを処理している間に、処理済みのデータをElasticSearchインデックスに文書として保存しています。は、ここでは、コード（簡体字）です：予想通り directKafkaStream.foreachRDD(rdd ->{ rdd.foreach(avroRecord -> { byte[] encodedA

0熱

1答えて

avroファイル内のある列と他の列をどのようにマッピングするのですか？

私はこの質問には1つの私の以前の質問の拡張であり、2.1.1とScalaの2.11.8 スパークを使用しています： How to identify null fields in a csv file? を変更ではなくからデータを読み取ることですCSVファイル、私は今avroファイルからデータを読み込んでいます。私は別のクラスでアブロファイルを解析してい var ttime: Long = 0;

0熱

1答えて

スキーマを使用してdataframeをavroに変換するにはどうすればよいですか？

ユーザ指定のスキーマを使用してデータフレームをAvroフォーマットに変換するにはどうすればよいですか？

2熱

1答えて

カフカから元のオブジェクトにバイトを変換するには？

私はKafkaからデータを取り出して、デフォルトのデコーダを使用してArray[Byte]を逆シリアル化した後、(null,[[email protected])、(null,[[email protected])のように見えますが、私はこれをどのようにして元のデータにしたいのですか？メッセージをAvro形式でシリアル化します。

1熱

1答えて

スパークのハイブ。寄木細工のファイルを読む

私はHark on Sparkに寄木張りのファイルを読み込もうとしています。私のアブロスキームがどこにある CREATE TABLE avro_test ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED AS AVRO TBLPROPERTIES ('avro.schema.url'='/files/ev

1熱

1答えて

複雑なjsonオブジェクトや複雑なオブジェクトをSparkのParquetとして保存するにはどうすればいいですか？

私はSparkを初めて使いました。複雑なオブジェクト（ネストされた）や複雑なjsonsをSparkのParquetとして保存する方法があるかどうかを調べようとしています。私はKite SDKを認識していますが、Map/Reduceを使用していることを理解しています。私は周りを見回しましたが、解決策を見つけることができませんでした。ありがとうございました。

0熱

1答えて

avroスキーマを知らなくても、Avroエンコードされたkafkaメッセージをスカラーで読む方法は？

メッセージがAvroでエンコードされ、スキーマが動的に変更されたトピックからKafkaメッセージを読み込むには、ScalaまたはJavaクライアントを作成する必要があります。 Avroファイルとして記述することなく、これらのメッセージを読むための解決策を提案してください。

2熱

1答えて

スパーク1.6負荷特定のパーティションを

次のように分割して私たちは、アブロを持っている： table --a=01 --a=02 我々は、パーティション列aを維持する単一のパーティションからデータをロードします。私はthis stackoverflow questionを発見し、私が提案しスニペット適用： DataFrame df = hiveContext.read().format(format). option("ba