2016-11-25 7 views
1

HAWQにロードするテーブルのストレージサイズの計算/見積もりに関する質問がありますか?HAWQテーブルサイズの推定

私はHAWQ、例にPXFを使用してロードしようとしていますHIVE、中に30メガバイトのテーブルを持っている: hcatalog.default.afs_trvn_mktscn_population SELECT * FROMとしてテーブルt2の表領域のデータを作成します。

HAWQのテーブルが369MBのストレージを消費していますか? HAWQセグメントの数や、HAWQ DFS.replicaファクタやHDFS複製ファクタとは無関係です。私のケースでは、4 HAWQセグメントまたは1 HAWQセグメントであっても、ロード後のテーブルのサイズは369 MBになります。

最小ブロックサイズは128MBなので、30MBでも最低128MBが使用されますが、300MBよりも大きい理由は分かりますか?

あなたはこれに関するいくつかの情報を共有できますか?

答えて

1

あなたのHiveテーブルは、あなたのHAWQテーブルが圧縮されていない場合でも、おそらくスナッピー圧縮のORCとして保存されます。 HAWQテーブルでこれを使用する必要があります。

with (appendonly=true, orientation=parquet, compresstype=snappy) 
関連する問題