大規模なログテーブルを格納するデータベース

Question

1日に約500.000件のリクエストを処理するAPIサーバーが実行されています。私たちは、これらのすべてのレギュュストをデータベースに保存して、データを分析できるようにしたいと考えています。私たちは、のようなものをログ：

どのくらいの時間、それは

日付と時間がかかりました要求をしました

• HTTP応答コード
• （URL）
のために頼まれた何APIリソース
• キャッシュレスポンス（ブール）
• +++

これらのログを3か月間保存したい場合は、そのデータベースに約45,000,000レコードが記録されます。レコードが3ヶ月以上経過すると、レコードは削除されます。

これらの4,500万レコードをSQLデータベースに格納することは可能ですが、これらのデータを分析するのは実際には遅いです。先週の同じ日に比較して、特定のユーザーが今日どのくらい多くのリクエストをしたかといったような広範な分析をしたいと思いますか？他の日と比較して今日何パーセントのリクエストが失敗したか？リクエスト数が増減しているかどうかを示すトレンドダイアグラムを参照してください。特定の時間に求められている上位10のリソースを参照してください。あなたはそれを得る - 我々はこのようなすべての種類の分析を行うことができるようにしたい。

これらのログをリアルタイムで（またはほぼリアルタイムで）分析できるようにするためのアドバイスはありますか？これには良いことがある任意のnosqlデータベースですか？アズール？私は紺碧のSQLデータウェアハウスと呼ばれるものがあることがわかります、これに使用することができますか？私はMicrosoft Power Biを見てきましたが、これはおそらくこれらのデータの分析には最適ですが、どこにデータを保存するのですか。

誰かが私のためにいくつかの提案を持っているなら、本当に感謝します。

Answer 1

パワーBIは、潜在的に良い解決策です。実際にはSQL Server Analysis Servicesのインスタンスがメモリに格納されています。これは実質的に「OLAPデータウェアハウス」です。無料のPBIデスクトップツールで設計し、PBI Webユーザー向けにMicrosoftのクラウドに公開すると、インフラストラクチャの要件は最小限に抑えられます。

公開できるデータには制限があります。下のリンクを参照してください。 PBIは非常に効果的なVertipac圧縮を使用するので、データセットは通常、生データよりもはるかに小さいことに注意してください。MBごとに10k〜50k行が表示されることが多いので、1つのProライセンスで45mを達成する必要があります。これを最適化するためにPBI Desktopのカラムリストを無情にフィルタリングしてください。あなたは1日8回まで、毎時更新できPBIプロライセンスを持つ

https://powerbi.microsoft.com/en-us/documentation/powerbi-admin-manage-your-data-storage-in-power-bi/

：

https://powerbi.microsoft.com/en-us/documentation/powerbi-refresh-data/

ビルSQLデータベースとOLAP/SSASソリューションの私のために良い仕事オーバーとなっています過去20年間時間とお金があれば、それはまだ "ロールスロイス"ソリューションです。しかし、20年後には、それは技術的に挑戦的な分野であるため、私はまだ学んでいます。これらのスキルをまだお持ちでない場合は、Power BIがより生産的な道具になることをお勧めします。

Answer 2

ログはSQL OLTPデータベースに保存することをお勧めします。ログテーブルの本質はトランザクション性であり、常に更新され、コミットの速度から利益を得ます。

あなたが言及するレポートの速度の問題は、ログデータベースの上にOLAPデータウェアハウスを作成することで解決できます。あなたのデータモデルは非常に単純なので、実装する開発作業はあまりありません。

リアルタイムレポートを取得する方法は、レポートをOLTPデータベースの上に作成することです。小さな遅延で暮らすことができれば、ほとんどの場所では、キューブを一晩再構築して、24時間遅れて即座に報告することができます。

概念的な回答はお詫びしますが、あなたのインフラストラクチャを設計するのには不十分ですが、これはQ &形式では可能です。