同じハイブテーブルに異なるファイル形式のデータを保存することはできますか？

Question

私はcsv、xml、jsonのようなフォーマットのデータを受信して​​います。すべてのファイルを同じハイブテーブルに保存したいと思いますか？

Answer 1

はい、これは異なる外部表の組み合わせによって実現できます。

異なるファイルの列を読み込む方法が異なるさまざまなSerDesが必要になるため、ファイル（および表）の種類ごとに1つの外部表を作成する必要があります。これらの外部表のそれぞれからのデータは、Rameshによって提案されたように、UNIONでビューに結合できます。ビューは、これらから読み込むために使用することができます。管理対象テーブルにデータを挿入します。

Answer 2

ハイブは、1つのテーブルのすべてのファイルが同じデリミタ、同じ圧縮が適用されると期待しています。したがって、複数のフォーマットのファイルの上にハイブテーブルを使用することはできません。あなたが使用することをお勧めします

ソリューションは

• で別のテーブルを作成します（JSON/XML/CSV）ファイル形式
• のそれぞれについて、上記で作成した3つのテーブルのUNIONのビューを作成します。 。

このようにして、データの消費者は、それが探しているものであれば、1つのビュー/オブジェクトのみをクエリする必要があります。