ハイブ：複数のファイルを複数のディレクトリに作成する

Question

入力テキストファイルをhdfsの複数のサブディレクトリに移動するHiveテーブルを作成したいとします。たとえばだから私は、HDFSに持っている：

/testdata/user/Jan/part-0001 
    /testdata/user/Feb/part-0001 
    /testdata/user/Mar/part-0001 
and so on... 

私はハイブで、テーブルのユーザーを作成したいが、ユーザーのサブディレクトリをトラバースすることができている場合は、それが行うことができますか？私はこのようなことを試みたが、うまくいかなかった。

CREATE EXTERNAL TABLE users (id int, name string) 
STORED AS TEXTFILE LOCATION '/testdata/user/*' 

私はワイルドカードを追加すると効果があると思っていましたが、そうではありません。私はワイルドカードを使用しないようにしてもまだ動作しません。しかし、私はファイルをユーザーのルートディレクトリにコピーすると、それは動作します。 Hiveが子ディレクトリに移動してそれらのファイルを取得する方法はありませんか？

Answer 1

ハイブは、データのパーティションとサブディレクトリを使用していますので、単に：あなたのためにそれを行う必要があります

CREATE EXTERNAL TABLE users (id int, name string) PARTITIONED BY (month string) 
STORED AS TEXTFILE LOCATION '/testdata/user/' 

。

Answer 2

CREATE EXTERNAL TABLE user (id int, name string); 
LOAD DATA INPATH "/testdata/user/*/*" INTO TABLE users; 

Answer 3

外部テーブルを作成し、サブフォルダをパーティションとして追加することができます。

CREATE EXTERNAL TABLE test (id BIGINT) PARTITIONED BY (yymmdd STRING); 
ALTER TABLE test ADD PARTITION (yymmdd = '20120921') LOCATION 'loc1'; 
ALTER TABLE test ADD PARTITION (yymmdd = '20120922') LOCATION 'loc2'; 

Answer 4

サブディレクトリが先験的に知られていないユースケースについては、以下のようなシェルスクリプトを使用してしまいました。

#!/bin/bash 
hive -e "CREATE EXTERNAL TABLE users (id int, name string) PARTITIONED BY (month string) STORED AS TEXTFILE LOCATION '/testdata/user/'; " 

hscript="" 

for part in `hadoop fs -ls /testdata/user/ | grep -v -P "^Found"|grep -o -P "[a-zA-Z]{3}$"`; 
do 

echo $part 
tmp="ALTER TABLE users ADD PARTITION(month='$part');" 
hscript=$hscript$tmp 
done; 

hive -e "$hscript"