私は、クリーニングが必要なデータがたくさんあるETLプロジェクトを持っています。我々は、複雑な変換の多くについて話している。このプロセスは夜間に行われる必要があり、一定時間(10時間)以内に終了する必要があります。このためには、ETLがシステム上のすべてのプロセッサコアを使用することが最善です。複雑なETLを実行するために使用する方が良いでしょうSSIS;コードを書くよりも優れていますか?
は、マルチプロセッサ環境で変換:
SSIS
または
ドットネットフレームワーク4は、(私はそれを修飾しましょう私が書くと応用することができます。エンティティフレームワークとパラレルタスクを使用して必要な複雑なデータ変換を実行するETLingを行うアプリケーションの作成は問題ありませんが、私はという最良のツールを使用しようとしています。
私はそれが不公平な問題だと知っています。 SSISはテクノロジーであり、ドットネットはフレームワークですが、まだまだ...
私はそれらを.netでゼロから行う必要がありますが、少なくとも私はそれらを行うことができるでしょう。私はSSISが.netのものを呼び出すことができることを知っていますが、私はそれが並列処理に最適化されていないと心配しています。 –
SSISには並列処理が組み込まれており、MaxConcurrentExecutablesパッケージのproperyを使用することで、これに対する制御を行うことができます。実際にはETLソリューションに使用する最良のツールではなく、自分のスキルセットを使用して、個人的に使いやすいものをあなたの疑問としていますか? SSISには少しの学習曲線がありますが、この種の作業には価値があります。 – grapefruitmoon
質問はこの性質のETLのための最もよい道具のまわりである。私は過去に1つのETLしか構築していませんでしたが、それは.netでした。 DTSは私が必要とする複雑な変換を行うことができなかったので、私は.netでそれを構築しました。また、私は自分のスキルによって制限されました。今回は、変換はさらに複雑ですが、SSISは進化しています。私は以前にSSISが使用されているのを見て、それは雑用だと思われます。 –