このクエリはサブクエリの合計よりもずっと長く実行されるのはなぜですか？

Question

次のようなクエリは、どのように実行するのに16時間以上かかることがありますか？ （私たちは最適化の研究を中止しましたが、私たちの誰もDBの専門家ではありません）。セットベースの除外を行うのは非常に簡単なようですね。

SELECT 
    field 
FROM 
    (subquery that returns 1173126 rows in 20 seconds) 
WHERE 
    field NOT IN (subquery that returns 3927646 rows in 69 seconds) 

この他に、あなたに十分な情報を提供して助けてくれるものはありますか？

（問題を引き起こしていることについてtricksyと具体的な何かがあります場合には、実際のクエリは、次の。）

SELECT blob FROM (
     SELECT a.line1 + '|' + substring(a.zip,1,5) as blob 
     FROM registrations r 
     JOIN customers c ON r.custId = c.Id 
     JOIN addresses a ON c.addressId = a.Id 
     WHERE r.purchaseDate > DATEADD(year,-1,getdate()) 
     GROUP BY a.line1 + '|' + substring(a.zip,1,5)) sq 
WHERE blob NOT IN (
     SELECT a.line1 + '|' + substring(a.zip,1,5) as blob 
     FROM registrations r 
     JOIN customers c ON r.custId = c.Id 
     JOIN addresses a ON c.addressId = a.Id 
     WHERE r.purchaseDate BETWEEN DATEADD(year,-5,getdate()) AND DATEADD(year,-1,getdate()) 
     GROUP BY a.line1 + '|' + substring(a.zip,1,5)) 

Answer 1

昨年の購入はあっても過去5年間以内の購入はないようです。

SELECT DISTINCT a.line1, SUBSTRING(a.zip, 1, 5) 
FROM addresses a 
WHERE id IN 
     (
     SELECT c.addressId 
     FROM customers c 
     JOIN registrations r 
     ON  r.custId = c.id 
     AND  r.purchaseDate > DATEADD(year, -1 ,getdate()) 
     ) 
     AND NOT EXISTS 
     (
     SELECT NULL 
     FROM customers c 
     JOIN registrations r 
     ON  r.custId = c.id 
     JOIN addresses ai 
     ON  ai.id = c.addressId 
     WHERE r.purchaseDate BETWEEN DATEADD(year,-5,getdate()) AND DATEADD(year,-1,getdate()) 
       AND ai.line1 = a.line1 
       AND SUBSTRING(ai.zip, 1, 5) = SUBSTRING(a.zip, 1, 5) 
     ) 

このクエリは、異なるIDとアドレスにline1, zipの重複を気に。あなたはそのような重複を持っていますか？

Answer 2

あなたはこれを実現することはできませんが、NOT IN文がでIF文に変換されますクエリエンジン。したがって、あなたの例では、すべての行（3.9M）で巨大なIF文を構築しています。次に、それぞれのIF条件を評価して、その値が存在するかどうかを調べる必要があります。 16時間以上かかることは驚くことではありません。

これをEXISTSまたはおそらく結合に変換する方法を見つけようとする方がはるかに良いでしょう。

Answer 3

2番目のサブクエリは、最初のサブクエリの各行に対して1回実行されています。あなたはあなたのために実際のクエリ、最高のものを追加しました

意味する推定完了時間が前後になるだろう（1173126 * 69）= 80945394秒

およそ154年である

...

後表に索引を追加して2つの照会を最適化することです。追加するインデックスを正確に教えることはできませんが、テーブルの正しいインデックスを選択するための優れた記事がたくさんあります。