CSVファイルをSQLテーブルにインクリメント

Question

CSVファイルを作成する外部アプリケーションがあります。これらのファイルをSQLに自動的に書き込むが、インクリメンタルにしたい。

バルクインサートを探していましたが、これは増分ではないと思います。 CSVファイルは膨大なものになりますので、インクリメンタルな方法があります。

ありがとうございます。

Answer 1

これを処理する通常の方法は、バルクステージングテーブルに全体のCSVを挿入し、ストアド・プロシージャと最終宛先テーブルにステージングテーブル内のデータの増分マージを行うことです。

これでもCSVファイルが大きすぎると懸念される場合は、次にCSVファイルを読み込んで、インポートする新しい/変更されたデータのみを含む切り詰めファイルを作成し、元のCSVよりも小さいCSVをバルク挿入します。

Answer 2

• テーブルにロードするすべてのcsvファイルの名前を含むテキストまたはcsvファイルを作成します。繰り返されない場合はファイルパスを含めることができます。シェルスクリプトを使用してこれを行うことができます。

• 次に、挿入する必要があるすべてのcsvファイル名をロードする一時テーブルを作成します。プロシージャを使用します。

• 行の数で一時テーブル、ループの上に使用し、（ループ内で切り捨てずに）ターゲット・テーブルにロードします。 truncateが必要な場合は、ループの前に行います。変換が必要な場合は、ステージングにデータをロードできます（変換の手順を使用してください）。

同じ問題があり、この方法を使用していました。最近、我々はすべてのタスクを実行し、データをステージングテーブルにロードするPythonを使用するように切り替えました。変換後、最終的にターゲット表にロードされます。