2016-04-07 1 views
2

私は2TBの携帯電話のレコードを持っています.130万人の読者で約330億人の読者がいます。 私はユーザーIDでパーティションを作成しました。 Impalaは、userid=XXXXXという多数のサブディレクトリを作成します。 これは、180万のサブディレクトリを持つパーティション分割のようです。範囲や数の配列を持つパーティションを持つ必要がある方法はありますか?インパラパーティション< or >の条件

答えて

2

現在、Impalaにはレンジ分割がありません。したがって、パーティションを少なくするために、テーブル内の別の列でパーティションを作成する必要があります。または、回避策として、レコードに必要な範囲を指定して「範囲」列にパーティションを追加する列をテーブルに追加することもできます。例:フィールドuser_id = 1234を持つレコードがあり、フィールドuser_range = 0_100000もあり、これをパーティショニングに使用できます。

関連する問題