マップを使わずにハイブからテーブルを読み込む

Question

マップを使わずにハイブから読み込む方法は？私はHiveで作成されたテーブルから列を読み込もうとしていますが、マップのオーバーヘッドを減らす必要はありません。基本的に私はHiveで作成されたテーブルからオーバーヘッドなしで値を取得し、できるだけ速い方法で取得したいと考えています。

Answer 1

MapReduceの代わりに、Hiveの実行エンジンとしてTezまたはSparkを使用できます。

hive.execution.engine（Hive Configuration Properties）を参照してください。

ハイブメタデータと互換性のあるSQLエンジンもかなりあります（例：Presto、Spark SQL、Impala）。あなたはハイブのMapReduceの表「SELECT * FROM」を行う場合

Answer 2

一般的に、文句を言わないあなたのケースでは。..

を実行して、あなたはハイブテーブルからわずか選択列を使用しているにも文句を言わないの実行をMapReduceの。

メインテーブルに必要な列と行数でサブテーブルを作成し、テーブルのselect *を実行するだけで済みます。