GROUP BY Perlを使用して

Question

私はデータを抽出したいSQLログが大量にあります。私はいくつかの列でグループ化しているので、この作業には非常に時間がかかります。したがって、私はSQL側でGROUP BYを実行せずに、通常はグループ化する列とともにログを抽出することにしました。代わりに私はPerlを使って私のグループ化をしたいと思っています。 Perlを使用する場合、私が考えている解決策は、異なる列にグループ化するためにn次元のハッシュを作成することです。私が同じことを可能にするコマンドラインユーティリティやPerl関数はありますか？

Answer 1

1. Etherがコメントで言ったように、実際に設計され、ジョブに最適化されたツールを仕事にしましょう。適切に最適化されたクエリを実行しているデータベースサーバーは、DBの外部で達成することができるよりも遅くなる可能性は非常に低いです。

   とりわけ、ネットワーク経由でより多くのデータを送信するためのリソースが無駄になり、より多くのメモリが必要になります。

   最適化の1つとして、完全なスキーマとクエリとDBエンジンを使用することなく、一時テーブルを使用してみてください。

   例えば、グループ化されたキーが重複している行が非常に少ない場合など、DBの外部からのアプローチが適している場合があります。この場合、グループ化されたデータを送信するリソースはほとんど節約できません;そしてPerl側のあなたのロジックが、繰り返し実行するのではなく、繰り返し実行するのではなく、メモリにすべての行を格納する必要があったとき。

2. まだこれをPerlでやってみたいのであれば、良い方法はSINGLEレベルのハッシュを作成し、一意のキー列の値を1つのハッシュ値にエンコードする安価な方法を開発することです（pack /いくつかの状況で使用することも、分割/結合することも、より具体的ではあるがより良い実行方法を使用することもできます。唯一の要件は、エンコードされた値を一意のキー列値に一意にマップできることです。それはおそらくどの速くデータベースをさせるよりもするつもりはない

   # Store 
   my %storage; 
   foreach my $row (@$result_set) { 
       my $hash_key = encode_hash_key(row); 
       my $new_row = $row; 
       if (exists $storage{$hash_key}) { 
        $new_row = merge_rows($row, $storage{$hash_key}); 
       } 
       $storage{$hash_key} = $new_row; 
   }