ステージングテーブルをロードするSQLクエリの問題

Question

データストアからステージングテーブルをロードする際に重大な問題が発生しています。ステージングテーブルをロードするためのクエリは、実行するのに24時間以上かかる。3つのメインテーブルは、item_ledger_entry = 12M、Value_Entry = 28Million、Gl_Entry = 58Mです。問題はGroup By節で、SORTのCUPコストは95％です。 助けてください。

ありがとうございました。 必要に応じて、私にあなたに質問をメールで送ることができます。

Answer 1

情報をあまりにも控えめに投票してください。

典型的なアプローチ：

• すべてのデータをロードしないでください。あなたは本当に毎日不変のレコードをロードする必要はありません。あなたは小さなデータを持っています（私たちは1日あたり4,000万行を追跡します）が、最初に変更されていないデータは読み込まれません。
• 優れたハードウェア。あなたはあなたが使っていることは何も言いません。
• グループごとに何を避けますか？あなたの質問から明らかではありません。

一般的には、専門家を雇います。真剣に - これは本当のハイエンドプロジェクトのように聞こえ、人々は知識を持ってお金を稼ぐ。このレベルで問題がある場合は、他の多くのことが間違っている可能性があり、徹底的な答えはあなたがここで聞くことができるものを超えています。例えば、クエリがあなたの問題ではないかもしれません、私が言ったように、hwoleのアプローチは吸うかもしれません。