2010-11-25 11 views
3

私は、クリーニングが必要なデータがたくさんあるETLプロジェクトを持っています。我々は、複雑な変換の多くについて話している。このプロセスは夜間に行われる必要があり、一定時間(10時間)以内に終了する必要があります。このためには、ETLがシステム上のすべてのプロセッサコアを使用することが最善です。複雑なETLを実行するために使用する方が良いでしょうSSIS;コードを書くよりも優れていますか?

は、マルチプロセッサ環境で変換:

SSIS

または

ドットネットフレームワーク4は、(私はそれを修飾しましょう私が書くと応用することができます。エンティティフレームワークとパラレルタスクを使用して必要な複雑なデータ変換を実行するETLingを行うアプリケーションの作成は問題ありませんが、私はという最良のツールを使用しようとしています。

私はそれが不公平な問題だと知っています。 SSISはテクノロジーであり、ドットネットはフレームワークですが、まだまだ...

答えて

1

私は言うつもりはありません。

私はETLジョブを作成し始め、データの最初の列でフォーマットされた日付時刻に悩まされました。 SSISは頭や尻尾を作ることができませんでした。

おそらく、あなたが望むことをSSISに納得させる方法を理解するために何週間も費やすことができますが、それをやりなおすことはずっと簡単です。

1

SSISは、特に言及した仕事を行うためのツールです。 ETL処理には理想的であり、多くの一般的なタスクが組み込まれています。カスタム.Netフレームワークでは、これらを一から作成する必要があります。

+0

私はそれらを.netでゼロから行う必要がありますが、少なくとも私はそれらを行うことができるでしょう。私はSSISが.netのものを呼び出すことができることを知っていますが、私はそれが並列処理に最適化されていないと心配しています。 –

+0

SSISには並列処理が組み込まれており、MaxConcurrentExecutablesパッケージのproperyを使用することで、これに対する制御を行うことができます。実際にはETLソリューションに使用する最良のツールではなく、自分のスキルセットを使用して、個人的に使いやすいものをあなたの疑問としていますか? SSISには少しの学習曲線がありますが、この種の作業には価値があります。 – grapefruitmoon

+0

質問はこの性質のETLのための最もよい道具のまわりである。私は過去に1つのETLしか構築していませんでしたが、それは.netでした。 DTSは私が必要とする複雑な変換を行うことができなかったので、私は.netでそれを構築しました。また、私は自分のスキルによって制限されました。今回は、変換はさらに複雑ですが、SSISは進化しています。私は以前にSSISが使用されているのを見て、それは雑用だと思われます。 –

3

はい、SSISとの作業は雑用ですが、私が使っていたすべてのプロジェクトは、予想よりもずっと時間がかかりました。公平であるように、私はほとんどの問題の解決策はどちらか一方を使用して最終的にどちらかを使用して形作ることができると考えています。十分な時間が与えられました

どちらのツールを使用する場合でも、通常、各プロジェクトでいくつかの研究と学習を行います。 .NETについて学ぶことは私を恵まれています。パッチワークやSSISの作業に不可解なコードハックで苦労して私は萎縮してしまいました。

ソフトウェアのコーディングで、メモリの変数の読み書きよりも基本的なものは何でしょうか?どのような複雑な言語になる可能性がありますか?このような初歩的な仕事を何時にどこで行うことができるのでしょうか?答えを見つけるには、インターネットで「スクリプト内の変数へのssis書き込み」というフレーズを検索します。 SSISは、最も単純な操作であっても、複雑さを全く新しいレベルにまで引き上げます!データフロータスク内のパッケージ変数に書き込む必要がある場合は、神がお手伝いします。

関連する問題