いくつかのファイルをHIVEテーブルにロードしてください

Question

私は1つのHIVEテーブルに非常に多くのファイルを分析しようとしています。主要な洞察力、私はjsonファイルで作業しており、テーブル構造は次のとおりです。

CREATE EXTERNAL TABLE test1 
(
STATIONS ARRAY<STRING>, 
SCHEMESUSPENDED STRING, 
TIMELOAD TIMESTAMP 
) 
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' 
LOCATION '/user/andres/hive/bixihistorical/'; 

すべて同じ構造で約50個のファイルをロードする必要があります。上記のもののいずれかが、私はスルー行くべきかについてのアイデアみんな働いている

LOAD DATA INPATH '/user/andres/datasets/bixi2017/*.json' 
OVERWRITE INTO TABLE test1; 

LOAD DATA INPATH '/user/andres/datasets/bixi2017/*' 
OVERWRITE INTO TABLE test1; 

LOAD DATA INPATH '/user/andres/datasets/bixi2017/' 
OVERWRITE INTO TABLE test1; 

：私はのようなものを試してみましたか？ ありがとうございます

Answer 1

私はとてもそうです...同じフォルダ内に格納された外部テーブルだけを作成でき、同じ構造のファイルがすべて存在することを覚えています。だから、そのようにして、私は1つの撮影で全記録を読み込みます。

> CREATE EXTERNAL TABLE bixi_his 
> (
> STATIONS ARRAY<STRUCT<id: INT,s:STRING,n:string,st:string,b:string,su:string,m:string,lu:string,lc:string,bk:string,bl:string,la:float,lo:float,da:int,dx:int,ba:int,bx:int>>, 
> SCHEMESUSPENDED STRING, 
> TIMELOAD BIGINT 
>) 
> ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' 
> LOCATION '/user/ingenieroandresangel/datasets/bixi2017/'; 

おかげ

Answer 2

フォルダのみハイブのテーブルにロードするために必要なファイルこと含まれていることを確認します。

外部表を作成 （ STATIONS ARRAY、 SCHEMESUSPENDED STRING、 TIMELOADタイムスタンプ ） 行形式のSERDE 'org.apache.hive.hcatalog.data.JsonSerDe' LOCATION「/ユーザ/アンドレス/ハイブTEST1/bixihistorical/';

LOAD DATA INPATH '/ user/andres/datasets/bixi2017 /' OVERWRITE INTO TABLE test1;