Presto、hive、impalaの3つのすべてがAvroデータ形式をサポートしていますか？

Question

データ形式のAvroスキーマをサポートするために、Hiveで利用できるSerdeについてはっきりしています。ハイブでavroを使うのが快適です。

AvroSerDe

言うためには、私はプレストに対して、この問題を発見しました。 https://github.com/prestodb/presto/issues/5009

高速実行サイクルのコンポーネントを選択する必要があります。 Prestoとimpalaは実行サイクルを大幅に短縮します。 だから誰でも私は別のデータ形式でより良いだろうことを明確にさせてください。 主に、Prestoでavroサポートを探しています。

しかし、HDFSに保存されたデータフォーマットを以下の点を考慮することができます：

1. アブロ形式
2. 寄せ木形式
3. オーク形式異なる上、高いパフォーマンスで使用するのが最適です

データ形式。 ??提案してください。

Answer 1

• インパラはアブロデータを読み取ることができますが、それを書き込むことはできません。 Impalaがサポートするファイル形式については、this documentaion pageを参照してください。

• ハイブsupports Avroファイルの読み書きです。

• PrestoのハイブコネクタもAvroに対応しています。 this documentaion pageを指摘してくれたDavid Phillipsに感謝します。

は、パフォーマンスに関するインターネット上のさまざまなベンチマークがありますが、私は結果が大きくベンチマーク正確なユースケースに依存して特定のものにリンクしたくありません。