アテナの構造が異なる複数のファイルの使い方

Question

s3バケットディレクトリに複数のファイルがあります（すべてのファイルは同じディレクトリにあります）。 1つのファイルに4つの列があり、2つ目のファイルに6つの異なる列があるように、すべてのファイルの構造が異なります。 これらのファイルを使用してAthenaテーブルを作成するにはどうすればよいですか？

Answer 1

ファイルに異なるデータが含まれている場合は、別々の外部テーブル（それぞれ独自のCREATE EXTERNAL TABLEステートメントを持つ）として定義する必要があります。

これで、JOINを介して複数のテーブルでクエリを実行できます。

Answer 2

以下のシナリオでは、

data1.json：

create external table data1 (
    a string, 
    b string 
) 
ROW FORMAT serde 'org.openx.data.jsonserde.JsonSerDe' 
LOCATION 's3://bucket/x'; 
create external table data2 (
    c string, 
    d string 
) 
ROW FORMAT serde 'org.openx.data.jsonserde.JsonSerDe' 
LOCATION 's3://bucket/x'; 

は今、あなたは別々を通じて定義され、別のファイルを照会することができます：あなたは、次の表を作成することができます

{"c":"data3","d":"data4"} 

{"a":"data1","b":"data2"} 

data2.jsonテーブル。あなたが処理しなければならないのは、異なるファイルタイプが結果にヌルエントリを生成することだけです。

select * from data1 where a is not null; 
select * from data2 where c is not null; 

Answer 3

私は（そうでない場合は教えてください！）これは、現在、AWSアテナ/プレストでは不可能であると信じています。

アテナテーブルの外部ロケーション（常にEXTERNAL TABLE）は、ディレクトリでなければなりません。

s3://mybucket/folder/table/file_aおよびs3://mybucket/folder/table/file_b異なる構造では、SCHEMA_MISMATCHになります。

アテーナは、s3://mybucket/folder/table1/とs3://mybucket/folder/table2/という形式のテーブルを想定しています。

更新：あなたはアテナは、常にすべてのファイルを検討する他に、別のフォルダに賢明なテーブルごとにファイルを移動する必要がある最初のパスの要件については

：

AWSのサポートとの会話から、 1つのテーブル用です。