datetime diffsの実行日の計算

Question

私は日付付きの一意のレコードを含むDjangoモデルを持っています。私は現在、レコードを数日の範囲に数えています。 X番号はすでに日付に達しており、Xは10日以内に、Xは次の30日以内に発生します。 以下のコードは、私が現在使っているコードです。モデルに対するrecords.objects.all（）クエリからすべての値を取得し、各オブジェクトをループしてdatetimeデルタを計算し、関連するカウンタをインクリメントします。周りの50,000レコードの場合

for x in records: 
    if x.date is None: 
     missingValue += 1 
    else: 
     delta = x.date - date.today() 
     if delta.days < 0: 
      passed += 1 
     if delta.days < 10: 
      tenDays += 1 
     if delta.days < 30: 
      thirtyDays += 1 

これは、私は、レコードの数が増加する可能性があるとして、これを削減しようとしている、もはや私は希望よりもあるおよそ5~6秒かかります。 質問は実際にはdatetime diffのパフォーマンス計算を行い、Django Queryやその他の方法でより良いメソッドがあるかのように結果の日数をグループ化しています。

未処理のSQLでDateAddの使用方法を調べましたが、各日付範囲のデータベースにクエリする必要があり、結果をループする必要があります。

Answer 1

はCOUNTをウィンドウ表示：

WITH cte AS (
    SELECT *,CASE WHEN DATEDIFF(DAY,GETDATE(),targetdate) <=0 THEN 0 
        WHEN DATEDIFF(DAY,GETDATE(),targetdate) <=10 THEN 10 
        WHEN DATEDIFF(DAY,GETDATE(),targetdate) <=30 THEN 30 
        ELSE 31 END AS grp 
    FROM [record] 
    --WHERE targetdate > GETDATE() - 60 -- last 60 days 
) 
SELECT DISTINCT grp, COUNT(*) OVER(ORDER BY grp) AS running_count 
FROM cte; 

Rextester Demo

Answer 2

パフォーマンスを最適化する前に、バッチ単位での実行を検討します。あなたの最も小さなウィンドウは1日であるように見えます。レコードモデルの「更新済み」フィールドでフィルタリングすることで、1時間ごとに（cronあたり）

from datetime import datetime, timedelta 
records.objects.filter(updated__lt = datetime.now()-timedelta(days=1))[:2083] 

を呼び出して操作することができます。 取得するレコードの数を制限することができます。毎時間、2083（または5000）のレコードが処理され、その日にタスクが分割されます。この数値は、データベース内のレコード数に基づいて調整することができます（例：50000/24 = 2083）

マイグレーションでは過去のライブレコードをすべて設定してライブレコードを1回処理する最初はSQLを使用して