ハイブのパーティション

Question

私はCDHクラスタ上のデータセットを持っており、それはyyyymmによってパーティション化されています。

私はハイブで以下のクエリを実行します。

select actvydt, cast((concat(trim(substr(ActvyDt, 1, 4)), trim(substr(ActvyDt, 6, 2)))) as int) from pos where yyyymm=201601 and actvydt>='2016-01-01' and actvydt<='2016-01-09' limit 10; 

それは、データセットから201601の右のパーティションに当たっているが。以下は

は結果である：

select actvydt,cast((concat(trim(substr(ActvyDt, 1, 4)), trim(substr(ActvyDt, 6, 2)))) as int) from pos.pos_sales_weekly where yyyymm=cast(trim((concat(trim(substr(ActvyDt, 1, 4)), trim(substr(ActvyDt, 6, 2))))) as int) and actvydt>='2016-01-01' and actvydt<='2016-01-09' limit 10; 

これは、データセット全体に当たっている（ただSUBSTとconcat関数を通じてYYYYMMのためのパラメータを渡す）：

actvydt  yyyymm 
2016-01-02 201601 
2016-01-02 201601 
2016-01-02 201601 

しかし、私は、以下のクエリを実行すると。したがって、yyyymmの値は正しく渡されません。そここの機能を持ついくつかの問題です：

cast((concat(trim(substr(ActvyDt, 1, 4)), trim(substr(ActvyDt, 6, 2)))) as int) 

は、しかし、関数の値は、列として渡され、上記の結果で見ることができます。これは正しいパラメータ201601を示しています。 どんな助けも非常に高いでしょう。パーティション・プルーニングが動作するために CREATE EXTERNAL TABLE IF NOT EXISTS pos (nid bigint, actvydt date, upc string, tchid string, posfileid string, yssk bigint) PARTITIONED BY (yyyymm int) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat' LOCATION '/data/' TBLPROPERTIES ('avro.output.codec'='snappy');

Answer 1

パーティションキーの値は、クエリの実行前に知られている必要があります

は、以下の表のスキーマです。 yyyymm=cast(trim((concat(trim(substr(ActvyDt, 1, 4)), trim(substr(ActvyDt, 6, 2))))) as int) and actvydt>='2016-01-01' and actvydt<='2016-01-09'

Optimizerは、残念ながらクエリの実行前に、かなり複雑な関数からyyyymm値を推測するために、そのような知性を持っていない：あなたはWHERE句を使用しています。さらに明示的な条件を追加してください：yyyymm='201601'これは動作します。それを変数として渡すことができます。

Answer 2

どこかで、何とか値2016-01-01が作成されます。

ちょうどその瞬間、またはそれに非常に近いところで、201601も作成できるはずです。

これを実行すると、2016-01-01と同じ方法でクエリに渡すことができ、問題を解決する必要があります。