外部テーブルハイブを作成します。場所に複数のファイルが含まれています

Question

CREATE EXTERNAL TABLE IF NOT EXISTS LOGS (LGACT STRING,NTNAME STRING) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
LOCATION '/user/hive/warehouse/LOGS/test'; 

'test'フォルダの下にファイルを毎日作成しています。たとえば：

/user/hive/warehouse/LOGS/test/20170420 
/user/hive/warehouse/LOGS/test/20170421 
/user/hive/warehouse/LOGS/test/20170422 

私が作成したLOGSテーブル内のデータは表示されません。

しかし、私は

LOCATION '/user/hive/warehouse/LOGS/test/20170422'; 

を使用してテーブルを作成し、私はその日の記録を見ることができます。

私のHIVEテーブルの/ testディレクトリにあるすべてのデータを見たいと思っています。また、/ testディレクトリには新しいファイルが毎日入っています。

Answer 1

オプションのサブディレクトリ

set mapred.input.dir.recursive=true; 

と、あなたハイブバージョンがある場合よりも低い2.0.0も

set hive.mapred.supports.subdirectories=false; 

オプション2

をサポートするために、1

例えば、あなたが標準的な慣習を使用してディレクトリを続ける場合には、管理することが容易になるだろう

CREATE EXTERNAL TABLE IF NOT EXISTS LOGS (LGACT STRING,NTNAME STRING) 
partitioned by (dt date) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
LOCATION '/user/hive/warehouse/LOGS/test'; 

---

alter table LOGS add if not exists partition (dt=date '2017-04-20') LOCATION '/user/hive/warehouse/LOGS/test/20170420'; 
alter table LOGS add if not exists partition (dt=date '2017-04-21') LOCATION '/user/hive/warehouse/LOGS/test/20170421'; 
alter table LOGS add if not exists partition (dt=date '2017-04-22') LOCATION '/user/hive/warehouse/LOGS/test/20170422'; 

パーティション表を作成します。 dt=2017-04-20の代わりに20170420

Answer 2

デフォルトでは、ハイブは外部テーブル内の指定された場所内のファイル（ディレクトリではない）のみを読み取ります。ディレクトリの追加を有効にする場合は、次のパラメータを設定します。

set mapred.input.dir.recursive = true;