LIMIT（クリックハウス）を適用する前のサブクエリのSELECTカウント

Question

いくつかのUNION ALLを集計するサブクエリがあります。私はSELECTを用意してクロスタブを作成し、20とするように制限しています。メインクエリで制限する前に、サブクエリ結果の合計COUNTを取得できるようにしたいと考えています。これは、レコードの総数とそれに続く特定のページレコードグリッドを受け取るページネーションを作成しようとするためです。

サンプルクエリ：

SELECT 
    name, 
    sumIf(metric_value, metric_name = 'data') AS data, 
    sumif(.... 
FROM 
    (SELECT 
     name, metric_name, SUM(metric_value) as metric_value 
    FROM 
     (SELECT 
       name, 'data' AS metric_name, SUM(data) AS metric_value 
      FROM 
       table 
      WHERE 
       date > '2017-01-01 00:00:00' 
      GROUP BY 
       name 

      UNION ALL 

      SELECT 
       name, 'data' AS metric_name, SUM(data) AS metric_value 
      FROM 
       table2 
      WHERE 
       date > '2017-01-01 00:00:00' 
      GROUP BY 
       name 

      UNION ALL 

      SELECT 
       name, 'data' AS metric_name, SUM(data) AS metric_value 
      FROM 
       table3 
      WHERE 
       date > '2017-01-01 00:00:00' 
      GROUP BY 
       name 

      UNION ALL 

      . 
      . 
      .) 
    GROUP BY 
     name, metric_name) 
GROUP BY 
    name 
ORDER BY 
    name ASC 
LIMIT 0,20; 

第一副選択は、データのトンを返すので、私はそれをカウントし、1つの列値として返し、又は行とそれが20の結果を制限選択主に伝搬することができると思いました。私は結果の全セットを知っている必要があるが、ドントを知る必要があるので、同じクエリを制限なしに2回呼び出すだけで、COUNTを得るには限界がある。少なくとも12のUNION ALLの第3レベルのサブ選択があるので、なぜ無駄なリソースですか。私は一般的なSQLソリューションをClickHouseに必ずしも関連しないようにしようとしています

私はcount(*) OVER()を使用することを考えていましたが、サポートされていません。

Answer 1

最初に言及する必要があるのは、誰も通常、クエリの正確なページ数に関心がないということです。それは容易に推定することができ、推定はどれほど正確であるかを気にする人はほとんどいません。ただし、GUIの最後のページへのリンクがある場合、リンクをクリックしてそのリンクが機能しているかどうかを確認することがよくあります。

しかし、アナリストがすべてのページを訪問する必要があり、GUIに正確な作業量が表示されることがあります。良いことは、後者の場合、より良い戦略は、結果テーブル全体のスナップショットをキャッシュし、テーブル内の行数をカウントすることがもはや問題にならないことです。

つまり、1日に何回も不要なフルスキャンがデータベースの負荷と請求額の合計に影響を及ぼす可能性があるため、顧客に本当に必要かどうかについて話し合うのは理にかなっています。

とにかく、行数を見積もる必要がある場合は、単に行数を数えるためにクエリを単純化することができます。

SELECT SUM(cnt) as row_count 
FROM (
    SELECT COUNT(DISTINCT name) as cnt FROM table1 WHERE date > ... 
    UNION ALL 
    SELECT COUNT(DISTINCT name) as cnt FROM table2 WHERE date > ... 
    ... 
) as counts; 

またはdataが一定のメトリック名

SELECT COUNT(DISTINCT name) as row_count 
FROM (
    SELECT DISTINCT name FROM table1 WHERE date > ... 
    UNION ALL 
    SELECT DISTINCT name FROM table2 WHERE date > ... 
    ... 
) as names;