SQL Server - ETLのアプローチ

Question

私たちのデータベースにロードする必要がある毎日のファイルを取得します。ファイルはデータベースとは別のサーバーで配信されます。パフォーマンスの観点から、2つのアプローチのどちらがETLに適していますか？

1. 配信サーバーからデータベースサーバーにファイルを転送します。バルクロード。配信サーバと負荷からオープンDB接続

編集を追加する

：サーバーは、同じネットワーク上のすべてです。すべての場合において、

Answer 1

ソースサーバーがSQLサーバーか他のテクノロジであるかどうかによって、ドライバが使用されます（Microsoftドライバがperfファイルに悪い影響を及ぼす場合は、oracleが優れています）、課金するオーバーヘッドあなたが持っているディスクレイアウト（1つのRAIDから読み込み、もう一方に書き込む、1ギガバイトまたは100MBで圧縮して転送する方が効率的かもしれません）通常、ダンプはうまく圧縮されますが、Beth

ダンプを使用する複数のディスク共有や複数のプロセッサが圧縮に使用する7zipの期間のような並列変換を乱用する可能性があります。イーサネットを使用すると、多分、リリズム。同じことがターゲットサーバーに影響します。

パフォーマンス、テストでいつものようにすべてのすべてで、定量化、テスト、定量化、繰り返し:)

Answer 2

1. 。 特に、ファイルが非常に大きい場合、ネットワーク経由で転送する前にデータファイルを圧縮できます。

Answer 3

「これは依存」の普遍応答。特に、使用しているETLテクノロジーに依存します。あなたのETLがその処理能力（SSIS、BODI（程度は低い））のためにデータベースサーバに結ばれているならば、ファイルをデータベースサーバに早急に取得する必要があります。より多くのファイルベースETLパッケージ（Abinitio、Informatica）デリバリーサーバーでの変換を自由に行い、バルクロードのために「ready-to-load」データをデータベースサーバーに移動させます。