SQLite（Python）にユニークな行だけを挿入する

Question

私はcursor.executemanyを使用して、CSVファイルからSQLiteテーブルに行のバッチを挿入します。その一部はプライマリキーフィールドに基づいて重複が予想されます。コマンドを実行すると、予期せず完全性エラーが発生し、何も挿入されません。

事前に手作業でフィルタリングすることなく、重複しない行だけを選択して挿入するにはどうすればよいですか？純粋なPythonで、エラー例外を作成して重複行をスキップすることができます。このユースケースで実装できるものは何ですか？

Answer 1

INSERT OR IGNOREを使用して重複を無視してください。

http://sqlite.org/lang_insert.html

Answer 2

1つのオプションは、executemanyではなく、エラーキャッチを使用して手動でループを書き出すことです。

擬似コード：executemanyとして

for row in csvfile: 
    try: 
     cursor.execute('INSERT INTO X (Y) VALUES (%s)' % row[rowdatapoint]) 
    except IntegrityError: 
     pass 

おそらくとして効率的ではありませんが、それはおそらく巨大なINSERT SQL文字列をpregeneratingあなたを伴うだろう、より複雑なSQLの変更に入るの短いあなたのエラーをキャッチします。