2012-04-10 13 views
3

これは、それ自体技術的な問題よりも建築的な問題です。データウェアハウスとDjango

私は現在、大量のデータを保存し、そのデータを分析(消費者行動)を描くために使用するビジネスウェブサイト/ソーシャルネットワークを構築しています。

私はDjangoとPostgreSQLデータベースを使用しています。

私の質問は次のとおりです。データウェアハウスを組み込むようにこのアーキテクチャを拡張したいと考えています。理想的なのは、操作可能なDBが現在のDjango PostgreSQLデータベースであり、データウェアハウスが何か追加されたものであり、好ましくは多次元モデルです。

私たちはまだ非常に早い段階にあり、50人のユーザーでテストするつもりです。したがって、初心者のための1列テーブルのようなプリミティブで十分です。

誰かがこのような状況での経験を持っているかどうかを知りたいと思っています。データウェアハウスを作成するためのフレームワークを推奨していますが、使いやすいようにDjangoモデルで運用DBを管理しています。

ありがとうございます!

+0

データウェアハウスへの複製はどうですか? – Marcin

答えて

7

は、私が最近使用したいくつかのクールなオープンソースのツールです:

  • Kettle - 偉大なETLツールで、あなたの倉庫にあなたの運用データベースからデータを抽出するためにこれを使用することができます。 JDBCドライバを備えたデータベースをサポートしており、非常に簡単に作成できます。スタースキーマ。
  • Saiku - Pentaho Mondrian(MDX実装)で構築されたnice Web 2.0フロントエンド。これにより、ユーザーは複雑な集約クエリ(ExcelのPivotテーブルを考える)を簡単に構築でき、Mondrianレイヤーはキャッシングなどを提供して処理を高速化します。ここでthe demoを試してください。
+0

ありがとう、これらは非常に良い候補者です。これはおそらく私が必要とする行に沿ったものです。 –

+0

+1。こんにちはRamseyer、私はSSAS + TableauソフトウェアでいくつかのOLAPプロジェクトを開発しています。非営利団体のために私はMondrian + Saikuと新しいプロジェクトを開始する予定です。あなたの専門家を私と共有したいのであれば、あなたと私の電子メールアドレスを送ることができます。この環境に切り替える前に覚えておくべきことを知っているだけです。 – danihp

0

私の回答は、必ずしもデータウェアハウスには当てはまりません。あなたのケースでは、NoSQLデータベースソリューションをOLTPリレーショナルストレージ(この場合はPostgreSQL)と一緒に実装することができます。

なぜでしょうか。NoSQL?明白なスケーラビリティの利点に加えて、NoSQLにはのような多くの利点がシナリオに適用されます。たとえば、フィールドの異なるセットとキーベースのアクセスを持つレコードを持つ柔軟性。

まだ「試用」段階にあるため、ホスティングプロバイダに応じてNoSQLデータベースソリューションを決定する方が簡単かもしれません。たとえば、AWSにはSimpleDBGoogle App EngineにはDataStoreなどがあります。しかし、いいPythonバインディングを持っている他の多くのNoSQLソリューションがあります。ここで

+1

スケーラビリティのメリットは私には分かりません。 1つのソーシャルサイトでは、自分が考えている製品の記述とベンチマークを行うことを検討していました。その結果のプレゼンテーションはこちらをご覧ください。http://www.pgcon.org/2010/schedule/attachments/141_PostgreSQL-and-NoSQL.pdfページ33と34には製品別のグラフがあります(短いバーはパフォーマンスが良いことを意味します)。 – kgrittn

+0

提案していただきありがとうございます。しかし、集約を含む非常に複雑なクエリを行う必要があると考えると、OLTPではなくOLAPをサポートするシステムが優先されますが、正しいでしょうか? –

+0

@VascoPatricioはい、本当にありがとうございます。 –

関連する問題