データウェアハウスフレームワークはありますか？

Question

私はレポートを生成するために必要な多くのmysqlデータを持っています。これは主に歴史的なデータなので、あまり変更されませんが、20〜30ギガバイトで簡単に体重が増え、成長が見込まれます。私は現在、いくつかの複雑なクエリを実行し、csvを出力し、ファイルを解析するPHPスクリプトのコレクションを持っています。ブックマーク付きのクエリでphpMyAdminも使用します。私はそれらを手動で編集してパラメータを変更します。データの量が増えており、アクセスが必要な人の数も増えているため、この状況を改善する時間を作っています。

先日、私はデータウェアハウスについて読んで始めました。これは、これが私が何をする必要があるかに関係するようです。私はsomegoodarticlesを読んで、本を待っています。私はこれらのシステムが何をしているのか、何が可能なのかを理解していると思います。

私のデータのための報告システムを作成することは、いつもtodoリストにありましたが、最近まで私はそれが非常にニッチなプログラミングベンチャーであると考えました。データウェアハウスは一般的なことであることを知っているので、開発を容易にするために使用可能なレポート/ウェアハウジングフレームがなければならないと思います。私は喜んでインターフェイスとスクリプトを書くことをスキップして、レポートなどのスケジュールと電子メールを送り、質問の作成と関係の設定に固執します。

私はたいていランプマンでしたが、私は言語やプラットフォームを切り替えることはできません。私はオフスクリプトがうまく拡張できないので、より堅牢なソリューションが必要です。

どこから始めればいいですか？

Answer 1

{budget、business utility function、time frame}のスペクトラムについて、いくつか説明します。以下のための正規化された一つの場所にのみデータメンテナンス

- 便宜上、データ・ウェアハウスの
ソースデータオペレーショナルデータベース層

• あなたは

  で

      WikipediaDataWarehouseArticle

  にリンクされているのは、アーキテクチャの概念に従ってみましょう

• データアクセス層
  ソースデータを情報アクセス層に変換します。
  ETLツールを使用して、倉庫内のデータを抽出、変換、ロードしてこのレイヤーに分類します。

• 情報アクセス層
    •レポート-促進するデータ構造
        は、データはここに維持されていません。それは単に
       したがって、構造を非正規化（重複を含むが、体系的に導出されたデータ）
       は通常、ほとんどここ
    •レポーティングツール
       どのように効果的であるあなたの元データを反映したものです実際にユーザーにデータへのアクセスを許可しますか
        •事前に報告されたレポート
        •より動的スライスアンドダイスアクセス方法

       これに報告および分析及び報告のためのツールや分析データ
       秋のためにアクセスデータ層。そして、後でウィキペディアの記事で論じるデザイン・メソドロジに関するInmon-Kimballの違い、
    は、このレイヤーと関係があります。

• メタデータ層、非常に少しのアウトポケットコストについて

ロール独自の（ローエンド）
（自動化、組織化などを促進する）だけの必要性を認識非正規化構造は、あなたが私たちには必要ありませんいくつかの効率

は野球の試合で取得し、それを使用していないもの（一部の支出が必要です）
を購入することができますバットから離れたプラットホームのすべての機能性。 4企業のメガベンダーの1社であるように思わ
IMOは、しかし、あなたが成長します知っているプラ​​ットフォームになりたい、と非常に競争力と統合BI環境では、（私の意見）

• マイクロソフト（当社の110従業員事務所のプラットフォーム）
• SAP
• オラクル
• IBM

    BiMarketStateArticle

私の会社は、SQL Server Integration Services（SSIS）によって提供されるETL機能とオープンソースの代替使用法のいくつかを使用してこの段階に入りますが、実際には "データアクセス層" 、非正規化されたレポート構造（基本SQL Serverデータベースに完全に実装されています）、およびSQL Server Reporting Services（SSRS）を使用して、事前に指定されたレポートの作成を大幅に自動化できます。 SSRSの「レポート」は、SSRSエンジンを介して実行時にレンダリングされる単なる（スケーラブルな）XML構成/仕様であることに注意してください。エクセルファイルへのエクスポートなどの選択肢は簡単なオプションです。

それ以上の深刻なコミットメント（いくつかの重要な人間のコミットメントが必要です）
お知らせ我々はSQL Serverの分析サービスの 能力をダイシング/データマイニング/ダイナミックスライシングを利用するためには至っていません。私たちはそのために努力しています。 しかし、今や "データアクセスレイヤー"でのデータクレンジングの質の向上に重点を置いています。

これは、あなたが探し始める感覚を得るのに役立ちますように願っています。

Answer 2

Pentahoは、かなり包括的な製品群をまとめました。製品は「無料」ですが、あなたの識別情報をフォークすると通常の重い販売のために準備されます。

私たちがマイクロソフトのショップであるために、私は本当に伸びる機会がありませんでした。

Answer 3

まず、KimballとInmonをチェックして、データウェアハウスに特定の方法でアプローチするかどうかを確認する必要があります。キンボールは、特に、倉庫のモデリングと建設のための非常に良い枠組みを定めています。

Answer 4

これはしばらく更新されていませんが、ActiveWarehouseという素晴らしいデータウェアハウス/ ETL Rubyパッケージがあります。

しかし、私は別の答えで述べたニックのようにPentaho productsをチェックします。それはあなたが持っているデータの量を容易に処理しなければならず、あなたが想像していたよりも多くのデータをスライスし、ダイスする方法を提供するかもしれません。

Answer 5

キングボールは、データウェアハウスのためのより簡単な方法です。

Informaticaを使用してデータを移動しますが、デフォルトではインデックス作成のようなDWは行いません。
私はDWツールとしてWherescape REDのアイデアが好きで、MS SQLのリンクサーバーを使ってETLツールの必要性を取り除いています。

Answer 6

データウェアハウスの設計、実装、管理のプロセスを実行しようとする多くのツールがあり、それぞれに長所と短所があり、価格が大幅に異なる場合があります。あなたがキンボールやインモンのキャンプからの戦争原理をよく知っていれば、あなたはいつも最高の状態になるでしょう。

KalidoとWherescape RED（非常に異なる方法で同様のことをする）のようなツールと同様に、多くのETLプラットフォームでは、ロバのSCDコンポーネントや系統追跡のための優れた組み込みサポートが組み込まれています。

これらのすべてをあなたの職人の手で使用するツールとして見るには最適ですが、職人は簡単な作業（さらには簡単な作業）を行いますが、難しいものは簡単ですが、 ）方法と原則を最初に学び、それらをよく理解してから、あなたのキットバッグからどのツールを適用するかを知ります。

Answer 7

現在入手できる最良のフレームワークはAnchor Modelingです。
一般的な構造と、データを履歴化する組み込みの機能のため、かなり複雑に見えるかもしれません。
また、モデリング手法はERDとはかなり異なります。

あなたのアプリケーション開発者はいないだろう

クエリの歴史の中で任意のポイント/範囲のトリガーによって処理

• 挿入/更新：
  しかし、あなたは3NFビューとを含む、すべてのDBオブジェクトを生成するために、SQLコードとアップを終了します基礎となる6NFアンカーモデルを参照してください。

この技術はオープンソースであり、現時点では無敵です。

ご質問がある場合は、そのタグanchor-modelingにお尋ねしてください。