ORCファイルフォーマットとImpala

Question

ORCファイルフォーマットをImpalaで使用できますか？また、Impalaのハイブストアに格納されているORCテーブルにアクセスする方法もあります。 は、ドキュメントのリンクの下に見つかり、それがインパラをサポートしていませんORCのいずれかの制限fileformatsリストまたは言及が含まれていません： http://www.cloudera.com/documentation/enterprise/latest/topics/impala_file_formats.html

Answer 1

ORCはインパラではサポートされていません。むしろApache Parquetは最高のパフォーマンスを得るための推奨フォーマットです。

Answer 2

インパラは、ORCファイル形式を読み取ることができません。可能であれば、ORCファイルをHiveでPARQUETに移行することをお勧めします。メリットは、マップ・リダクション・タスクを設定する時間を1つだけ支払っていることです。

あなたのORCテーブルがnameoforctableあり、非常に基本的なクエリがどのように見える場合：ORCはハイブにACID機能をサポートする唯一のフォーマットであり、いくつかのベンチマークで優れたクエリパフォーマンスと圧縮率を実証していても

CREATE TABLE nameoforctable_parquet 
LIKE nameoforctable 
STORED AS PARQUET 
LOCATION '/your/hdfs/location'; 

INSERT INTO nameoforctable_parquet 
SELECT * FROM nameoforctable 

Answer 3

インパラはORCファイル形式をサポートしていません。なぜなら、それは主要な競合相手の1つであるHortonworksによって作成されたからです。逆にHortonworks Data Platform（HDP）のHiveバージョンは、同じ理由でParquetをサポートしていません。