MySQLのパーセンタイルランクの計算

Question

私はMySQLで非常に大きな測定データテーブルを持っており、これらの値ごとにパーセンタイルランクを計算する必要があります。 Oracleにはpercent_rankという機能があるようですが、MySQLの場合はこれと似たものが見つかりません。確かに私はテーブルにデータを入れるために私がとにかく使うPythonで無理矢理強制することができますが、1つのサンプルが200.000回の観測を持つ可能性があるため、非常に非効率的であると思われます。

Answer 1

これは比較的醜い答えです。私はそれを言って罪悪感を感じます。それは、あなたの問題に関してあなたを助けるかもしれない、と言った。

割合を判断する1つの方法は、すべての行を数え、提供した数よりも多い行の数を数えることです。より大きいか小さいかを計算し、必要に応じて逆数を取ることができます。

番号にインデックスを作成します。 合計=選択カウント（）。 less_equal =選択カウント（）ここで、value> indexed_number;

割合は次のようなものになるだろう：less_equal /合計または（合計 - less_equal）/総

それらの両方は、あなたが作成したインデックスを使用していることを確認してください。そうでない場合は、調整してください。 Explain照会には、右側の列に「使用索引」が必要です。 select count（*）の場合は、InnoDBのインデックスとMyISAMのconstのようなものを使用する必要があります。 MyISAMはいつでもこの値を計算しなくても知ることができます。

％をデータベースに格納する必要がある場合は、上記の設定を使用してパフォーマンスを確認し、2番目のクエリを内部セレクトとして使用して各行の値を計算することができます。最初のクエリの値は定数として設定できます。

これは役に立ちますか？

ヤコブ

Answer 2

これを行う簡単な方法はありません。以下のようなもの自体にテーブルを外部結合、私はあなたが（左）に必要と言うだろう、ランクを取得するにはhttp://rpbouman.blogspot.com/2008/07/calculating-nth-percentile-in-mysql.html

Answer 3

を参照してください。行ごとに

select t1.name, t1.value, count(distinct isnull(t2.value,0)) 
from table t1 
left join table t2 
on t1.value>t2.value 
group by t1.name, t1.value 

、あなたはどのように多くの（もしあれば）カウントされます同じテーブルの行には値が劣ります。

私はsqlserverに詳しいので、構文が正しくない可能性があることに注意してください。また、別名は、あなたが達成したいことに対して正しい行動をしていないかもしれません。しかしそれは一般的な考えです。
実際のパーセンタイルのランクを取得するには、まず変数の値の数を取得し、上記の実数のランクを使用してパーセンタイルのランクを計算する必要があります。

Answer 4

あなたはPHPのような手続き型言語を使用してSQLを組み合わせている場合は、次の操作を行うことができます。この例では、超過した飛行ブロック時間を空港に分けてパーセンタイルに分解します。 MySQLのLIMIT x、y句をORDER BYと組み合わせて使用​​します。 （申し訳ありませんフォーマットに苦労し）非常にきれいな、しかし仕事をしていませんではない：

$startDt = "2011-01-01"; 
$endDt = "2011-02-28"; 
$arrPort= 'JFK'; 

$strSQL = "SELECT COUNT(*) as TotFlights FROM FIDS where depdt >= '$startDt' And depdt <= '$endDt' and ArrPort='$arrPort'"; 
if (!($queryResult = mysql_query($strSQL, $con))) { 
    echo $strSQL . " FAILED\n"; echo mysql_error(); 
    exit(0); 
} 
$totFlights=0; 
while($fltRow=mysql_fetch_array($queryResult)) { 
    echo "Total Flights into " . $arrPort . " = " . $fltRow['TotFlights']; 
    $totFlights = $fltRow['TotFlights']; 

    /* 1906 flights. Percentile 90 = int(0.9 * 1906). */ 
    for ($x = 1; $x<=10; $x++) { 
     $pctlPosn = $totFlights - intval(($x/10) * $totFlights); 
     echo "PCTL POSN for " . $x * 10 . " IS " . $pctlPosn . "\t"; 
     $pctlSQL = "SELECT (ablk-sblk) as ExcessBlk from FIDS where ArrPort='" . $arrPort . "' order by ExcessBlk DESC limit " . $pctlPosn . ",1;"; 
     if (!($query2Result = mysql_query($pctlSQL, $con))) { 
      echo $pctlSQL . " FAILED\n"; 
      echo mysql_error(); 
      exit(0); 
     } 
     while ($pctlRow = mysql_fetch_array($query2Result)) { 
      echo "Excess Block is :" . $pctlRow['ExcessBlk'] . "\n"; 
     } 
    } 
} 

Answer 5

ここで参加を必要としない別のアプローチがあります。私の場合（1万5千以上の行）のテーブルでは、約3秒で実行されます。 （JOINメソッドのほうが長くなります）。このため

SELECT 
    id, 
    @prev := @curr as prev, 
    @curr := measure as curr, 
    @rank := IF(@prev > @curr, @rank+@ties, @rank) AS rank, 
    @ties := IF(@prev = @curr, @ties+1, 1) AS ties, 
    (1-@rank/@total) as percentrank 
FROM 
    mytable, 
    (SELECT 
     @curr := null, 
     @prev := null, 
     @rank := 0, 
     @ties := 1, 
     @total := count(*) from mytable where measure is not null 
    ) b 
WHERE 
    measure is not null 
ORDER BY 
    measure DESC 

クレジット：サンプルで

は、 対策はあなたがパーセント・ランクを計算しているどの列があり、かつ IDは（必須ではありません）だけ行識別子であることを前提としてい方法はShlomi Noachに行く。彼はここでは詳細にそれについて書いている：私は、MySQLでこれをテストしてみた、それは素晴らしい作品

http://code.openark.org/blog/mysql/sql-ranking-without-self-join

。 Oracle、SQLServerなどについては考えていません。

Answer 6

SELECT 
    c.id, c.score, ROUND(((@rank - rank)/@rank) * 100, 2) AS percentile_rank 
FROM 
    (SELECT 
    *, 
     @prev:=@curr, 
     @curr:=a.score, 
     @rank:=IF(@prev = @curr, @rank, @rank + 1) AS rank 
    FROM 
     (SELECT id, score FROM mytable) AS a, 
     (SELECT @curr:= null, @prev:= null, @rank:= 0) AS b 
ORDER BY score DESC) AS c;