2017-06-06 4 views
1

OracleデータベースのデータをSQL Sever 2012のステージングテーブルにプルするデータベースを継承しました。その後、データは3つまたは4つの異なるストアドプロシージャデータを最終的な生産表に変換するために数百の行が必要です。サードパーティのデータベースからローカルデータベースにデータを変換する最良の方法

これはうまくいくようですが、やや非効率なようです。私は物事のETL側に新しいですし、より良い解決策があるのだろうかと思っています。

SSIS内でこれらの同じクエリを使用する方が効率的ですか? SSISの内部でXML/XSLTを使用する方が効率的ですか?

これらのソリューションは、実際に何が起こったか、エラーが発生したときにいつも十分なメタデータを提供しますか?

BizTalk(これは私が経験したことがない)のようなものは、すべてのソリューションの方が良いでしょうか?

これは非常に議論の余地がある話題であると私は認識しています。私の主な目標は、変換の速度を上げ、変換の精度を維持または向上させ、変換のログを増やすことです。何か問題が生じた場合に何が起こったのかを簡単に見つけることができます。

私は本当に正しい方向への提案や指導を感謝します!

+0

あなたの声明*これは非常に議論の余地がある話題かもしれないことを認識しています* SOは適切なプラットフォームではないことを明確に示しています...サンプルデータ、実際の問題*を表示し、 – Shnugo

答えて

0

SSISは、大量のデータの読み込みと変換に対処する必要がある場合に最適です。しかし、どのようなソリューションを選択するかには多くの要因があります。例: 1.データの量。 2.このプロセスが実行される頻度。 3.変換の複雑さ。 4.効率と応答性のトレードオフなど

BizTalkは、メッセージブローカーであり、integrate and manage automated business processes by exchanging business documents!に採用されています! ETL

既存のプロセスを調整して、ボトルネックとあらゆるステップを最適化する範囲を探してみることもできます。

+0

このアドバイスをいただきありがとうございます! 1.このプロセスは現在、2,000万レコードを引っ張って開始し、レコードが約70,000個になるまで刈り取っています。 2.現在、プロセスは夜間に実行されます。 3.私は変換がかなり複雑であると思います.SQLの約5000行が終了するからです。 2000万行の元のプルはSSISで行われます。 (The extract)しかし、変換はすべてストアドプロシージャで行われます。私はストアドprocsからxml/xsltにロジックを移すとパフォーマンスが向上するのか、またはssisの中でより良い解決策があるのか​​理解しようとしていますか?思考?再度、感謝します!!! – Retnuh

関連する問題