ハイブ：ハイブは、外部テーブルを使用中にパーティショニングとバケットをサポートします

Question

PARTITIONED BYまたはCLUSTERED BYキーワードを使用すると、ハイブテーブルを作成中に ハイブは各パーティションまたはバケットに対応する別々のファイルを作成します。しかし、外部テーブルの場合、これはまだ有効です。私の理解としては、外部ファイルに対応するデータファイルはハイブで管理されていません。ハイブは各パーティションやバケットに対応する追加フ​​ァイルを作成し、対応するデータをこれらのファイルに移動します。

編集 - 詳細を追加する。 "Hadoopの：Definitive Guideの" から
少数の抽出 - "第17章：ハイブ"
CREATE TABLE logs (ts BIGINT, line STRING) PARTITIONED BY (dt STRING, country STRING);

我々はパーティション表にデータをロードすると、パーティション値が明示的に指定されています

LOAD DATA LOCAL INPATH 'input/hive/partitions/file1' INTO TABLE logs PARTITION (dt='2001-01-01', country='GB');

ファイルシステムレベルでは、パーティションは単にテーブルディレクトリのネストされたサブディレクトリです。 ログテーブルにいくつかのより多くのファイルをロードした後、ディレクトリ構造は次のようになります。

は、上記の表には、管理テーブルは明らかだったので、ハイブは、データの所有権を持っていたし、作成しました上記のツリー構造のように各パーティションのディレクトリ構造。これらのパーティションを扱うハイブますどのように
LOAD DATA LOCAL INPATH 'input/hive/partitions/file1' INTO TABLE logs PARTITION (dt='2001-01-01', country='GB');

- ロード操作の同じセットが続く

外部テーブルの包みなさい

CREATE EXTERNAL TABLE logs (ts BIGINT, line STRING) PARTITIONED BY (dt STRING, country STRING);
。アウトパーティションを持つ外部テーブルの場合、ハイブは単にデータファイルをポイントし、データファイルを解析することによってクエリ結果をフェッチします。ただし、パーティション化された外部表にデータをロードする場合は、パーティションが作成されます。

完全にハイブウェアハウスにいたいですか？これをサポートしたり、明確にすることはできますか？

Answer 1

これは一般的な作業であるため、日付を分割するとします。

CREATE EXTERNAL TABLE mydatabase.mytable (
    var1 double 
    , var2 INT 
    , date String 
) 
PARTITIONED BY (date String) 
LOCATION '/user/location/wanted/'; 

次に、すべてのパーティションを追加します。

ALTER TABLE mytable ADD PARTITION(date = '2017-07-27'); 
ALTER TABLE mytable ADD PARTITION(date = '2017-07-28'); 

などです。

最後に、適切な場所にデータを追加できます。外部のパーティションファイルがあります。