繰り返しレコードをスキップする方法は？

Question

大量のデータを表にアップロードするためにSQL * Loaderスクリプトを作成しています。

スクリプトは次のように動作します。 FTPサーバーに接続し、ディレクトリをミラーリングして生成された新しいファイルをすべて取得し、すべてのCSVファイルを取得して1つに保存してからアップロードしますこの大きなCSVファイル内のデータ

基本的に、私は、SQL * Loaderでも、レコードへの最初のテーブルにすでに存在する場合は、レコードを挿入しようとしないで方法を探しています。

事がある、テーブルを10万件のレコードを保持します、とするとき、彼らはいけない、時には、これらのファイルは、不当にいくつかのレコードが繰り返されることを意味しますこれは、ダウンロードします。

私は、必要な2つのフィールドに一意のキーを配置しました。

スクリプトが挿入しようとする行の数に最大エラーを変更しようとしましたが、これを実行して制約違反エラーを返すことに気付きました。本当に大きなログファイルです。 （これらのいずれかを同時に繰り返しではなく、両方できるように、2つのフィールド上）

方法は、条件を配置するために、SQL * Loader制御ファイル内で、ありますか？

あなたはこのプロセスをスピードアップするのに役立つと思いますか？

ボーナス質問：それはより良いです、私はSQL * Loaderのにそれぞれ1を送信するために、のは、10個のCSVファイルを言わせているか、それらの10からのデータを含む単一のファイルを作成する場合は？それはすでにテーブルに存在する場合は、レコードを挿入するからSQL Loaderを防ぐため

Answer 1

はsolllodolllo答え1として、輸入の一時テーブルにレコードが、その後

DELETE FROM temptable WHERE id IN (SELECT id FROM yourtable)? 

は、その後、あなたはyourtableにTEMPTABLE挿入することができます。

これはもちろん、行とその他の行との違いによって異なります。可能であれば、その質問にそれを示すのが良いでしょう。

Answer 2

、あなたはそれがあなたの必要な条件を満たしている場合を除き、SQLローダーがレコードをスキップするだろう条件文を使用することができます。たとえば：

LOAD DATA 
INFILE 'YourData.dat' 
BADFILE 'YourBadData.bad' 
APPEND INTO TABLE YourTable 
WHEN (Condition 1 = TRUE) AND (Condition 2 = FALSE) 
{ 
... 

初期ロードプロセスをスピードアップするために、あなたは永久テーブルに個別のすべての行を挿入するために、SELECT文を使用し、その後、一時テーブルにすべてのレコードを挿入することができます。

INSERT INTO YourTable 
SELECT DISTINCT [fields] 
FROM tempYourTable