2009-07-29 2 views
3

私の会社のほとんどは、データベース間でExtract-Transform-Loadタイプのデータ移動ジョブにpowercenter informaticaを使用しています。informatica powercenterとカスタムperl ETLジョブ?

しかし、私が行っているプロジェクトでは、大きなカスタムPerlジョブがあり、データを移動して他の更新をトリガーするためにいくつかのJavaがスローされています。

代わりにpowercenterを使うことを書き直す話がありますが、そのようなプロジェクトでの人の経験はどういう意味ですか?このような「棚から外れた」ソリューションに移行する際に柔軟性を兼ね備えているように見えますが、ETLツールは生産性の面で多くのことを購入していますか?

答えて

6

Informaticaは運用チームに適しています。これは、技術者以外の人がジョブを監視して再実行できるようにします。ただし、必要以上に複雑な作業を行うことはありません。これはソフトウェアの巨大な部分であり、学習するのに時間がかかり、プログラミングなしでできる変換には限られています。私は確かに "エンタープライズETL"ツールでいつでもPerlやプログラミング言語を使用しています。

+0

"監視して再実行"だから、いいGUIを持っていると言えますそれは何か価値がある?いくつかのWebツールと一緒にすばやく投げることのできるものではありませんか? –

+1

Ville M:そうですね、素早く「一緒に」投げつけるのが難しい素晴らしいGUIがあります。あなたはすぐに、あなたが時間の90%を使用するカスタム言語でアプリの20%を一緒にスローすることができることです。カスタムソリューションを使用すると、Informaticaで完全にベースとなるものや、まったくできないものを簡単に実行できます。 – runrig

0

InformaticaのようなETLツールは、コード作成できない人がいる場合に生産性(および美しい写真)を購入します。コードを維持できる人がいなければ理にかなっています。コードを書くことができる人のために、500ヘクタールのゴリラを雇い、モルタルを動かすようなものです。

も参照してください:This postthis post

this threadにそれは一種のロギング、自動ジョブのための素晴らしいです(あなたがログインしたいのかを考える必要はありません...それは、すべてのほとんどあなたのために行われます)とランタイム・モニタリング・ツール(私のワークフローはどれくらい進んでいますか?どこで失敗しましたか?)

+0

ここでは、powercenterはITの人々によって独占的に使用されているため、私はなぜ迷惑をかけるのだろうか。 –

+2

"IT people"!= "コード化できる人"(とくにこのようなことをするPerlのような言語のコード) – runrig

3

私たちはInformaticaとTibcoを2001年に開始し、人々はInformatica(基本タスク用)を簡単に手に入れることができましたが、Tibcoは苦痛でした。 Tibcoは今やなくなり、Informaticaのフットプリントは成長し、ビジネスアナリストもそのコードを見ていきます。

熟練していれば、すばやく多くのことができます(私は3つのファクトテーブルと12の次元を1週間に複数のソース、財務およびPOデータマート用)、コード変更、スケジューリング、他の開発者への移行などのメンテナンスが楽になります。楽しい時間、会議や組織の書類作業時間の短縮

データマート、データ移動、およびASPへのインターフェイスに使用します。

コンパイル済みのCプログラムではなく、完全にカスタムを実行したい場合は、Javaの変換が追加されました。

+0

Perlに習熟すれば、すぐに多くのことができます。私は1日に似たような仕事をしましたが(数時間ではないにしても)、余分な時間が残っています。 – runrig

3

私の場合は、インパクト分析(SLA)と保守(監視、シングルETLツール)の2つの理由からInformaticaに変換します。再利用性はもう一つのプラスです。

インフォーマルティカに固有:インパクト分析を実行すると、多くの緊急修正が防止され、SLAを維持するのに役立ちます。私にとって、SLAを改善することは柔軟性を上回るものです。 Informaticaの監視機能も非常に役立ちます。

一般的には、会社が単一のETLツールに移行している場合、そのジョブを変換することで管理しやすくなります。また、サポートチームが1つのツールを監視する方が効率的で信頼性が高くなります。うまくいけば、あなたの会社はオブジェクトを再利用可能にして、変換を容易にし、将来の生産性を向上させようとします(変換中に新たに再利用可能なオブジェクトを作成するかもしれません)。

注意:変換タスクは実際には見積もりが困難です。可能であれば、これを独立したプロジェクトにしてください(大きな成果物の一部ではありません)。

0

コーディングは大きな柔軟性を提供します。それはPerl、Python、C#、Java、SQLなどとなります。いくつかのデータ変換をすばやく簡単に構築できます。なぜ誰もETLソフトウェアを見ることさえ気にしませんでしたか?

ソリューション全体を準備しているとしましょう。選択した言語のすべてのスクリプトがそこにあります。いくつか質問があります:

  • データ量が増え、すべてをメモリに収めることができない場合、キャッシュはどこに作成されますか?あなたはそれを制御できますか?
  • どのようにすべてのログを作成しますか?あなたはそれを作成しましたか?
  • エラー処理はどうですか?エラー(ディスクスペースの問題、接続の問題、etsなど)が発生した場合は、その原因を簡単に示していますか?
  • どのように監視しますか?ダイナミックダッシュボードはありますか?
  • ソリューションでクラスタリングが可能ですか?
  • いくつかのデータ変換を複数のスレッドで実行して、より高速に実行できますか?
  • フェールオーバー:どのように障害を処理しますか?障害の発生した場所からジョブを再開することは可能ですか?
  • 接続性:新しいデータソース(Salesforceなど)が表示され、スクリプトを読み書きするためにどの程度の時間を必要としますか?
  • SAPのようなERPシステムに接続できますか?
  • スクリプトからデータ系列と影響分析を取得できますか?

降下ETLソフトウェアを使用すると、これらのすべて、さらにはさらに多くが得られます。誰かが懸命に働いていて、何年もの間、そのようなトラブルに対処してGUIを手に入れました。それは違いです。

Now:しばらくの間、1つのファイルをDBにロードする必要がある場合、何かがあります。しかし、あなたがそれらの多くを持つことを計画している場合、ETLソフトウェアは検討する価値があります。 Informaticaがすでに社内にある場合は、なぜホイールを悩ませ、再発明するのでしょうか?

関連する問題