HDFSでのAvroスキーマの生成

Question

私は、HDFSにいくつかのavroファイルセットがあるシナリオを持っています。そしてHDFSのAVROデータファイル用にAvroスキーマファイルを生成する必要があります。Spark（https://github.com/databricks/spark-avro/blob/master/src/main/scala/com/databricks/spark/avro/SchemaConverters.scala）を使って調査しました。

AVROデータファイルをローカルに持ち込み、HDFS PUTを実行する以外の方法はありますか。

提案は歓迎されています。ありがとうございます！

Answer 1

すべてのavroファイルは、それが書き込まれたavroスキーマに組み込まれています。 avro-tools.jar（mavenからダウンロード）を使用して、このスキーマを抽出できます。 （他のすべてのファイルが同じスキーマで書かれていると仮定して）1つの部分だけをダウンロードし、avroツール（java -jar〜/ workspace/avro-tools-1.7.7.jar getschema xxx.avro）を使って