別のLOOKUP変換を追加するとパフォーマンスが大幅に低下する理由SSIS

Question

ソースとデスティネーション間でデータを1台のサーバーから別のサーバーに転送するシンプルなSSISパッケージがあります。

新しいレコードが挿入されている場合はそれが挿入され、それ以外の場合はHashByteValueカラムがチェックされ、更新レコードが異なる場合はチェックされます。

テーブルには約150万行が含まれ、約50列が更新されます。

パッケージのデバッグを開始すると、約2分間何も起こらず、緑色のチェックマークが表示されます。その後、私はデータが流れ始めるのを見ることができますが、時には停止し、再び流れて、再び止まります。

全体のパッケージは、次のようになります。

しかし、私は（更新なし）だけINSERT一部をすれば、それは1分と先テーブル内のすべての150万件のレコードを、完璧に動作します。

だから、レコードを更新したパッケージに別のLOOKUPの変換を追加するので、パフォーマンスが大幅に遅くなる理由。 メモリとは何か？私はlookupsの両方でFULL CACHEオプションを使用しています。

パフォーマンスを向上させる方法は何ですか？

は理由が自動成長のファイルサイズにすることができ：

Answer 1

AutoGrowthのサイズを100MBに変更するだけでなく、データベースログファイルは29GBになります。つまり、トランザクションログバックアップを実行していない可能性が最も高いです。

夜間または定期的にフルバックアップのみを実行します。データベースの回復モデルをフルからシンプルに変更します。

データベースのプロパティ]> [オプション]> [

復旧モデル

次に、あなたのログが使用して100メガバイトまでファイルを縮小します。

DBCC SHRINKFILE(Catalytic_Log, 100) 

Answer 2

私はあなたの問題は、ルックアップしているとは思いません。 OLE DBコマンドはSSISでは非常に遅いので、大量の行を更新する意味はないと思います。 https://social.msdn.microsoft.com/Forums/sqlserver/en-US/4f1a62e2-50c7-4d22-9ce9-a9b3d12fd7ce/improve-data-load-perfomance-in-oledb-command?forum=sqlintegrationservices

エラーがルックアップではないことを確認するには、「OLE DBコマンド」を無効にしてプロセスを再実行し、時間がかかることを確認してください。

私の個人的な経験では、特定の条件に基づいて更新または挿入する必要があるときに、「データフロー」全体を実行するためにストアドプロシージャを作成する方が常に優れています。そのためには、StagingテーブルとDestinationテーブル（変換されたデータをロードする場所）が必要です。

希望します。