ハイブのフィールドを並べ替え

Question

私は約2億2500万レコードのテーブルを持っていますが、いくつかの条件に基づいて別のテーブルに入れなければなりません。例

私は知っているので、出力での総順序を保証するために単一のレデューサーを使用します。 私は上記のクエリの並べ替えを行うための最適な方法が必要です。

Answer 1

コメントが長すぎます。

SQLテーブルは、を順不同で表します。セット。これは、データが複数のプロセッサに分散されている並列データベースでは、、特にです。 Hiveは、クラスタ化インデックス（基本的にパーティションを定義する）とパーティション内のソートをサポートしています。 documentationが、これはがCREATE TABLE ASでサポートされていませんであること、しかし、非常に具体的である：

CTASは、これらの制限があります。

• ターゲット表がパーティション表にすることはできません。

データをエクスポートして再インポートすることで、必要な操作を行うことができます。

しかし、実際に必要な情報を注文することなく、内のデータベースを注文することをお勧めします。