のPython/MySQLの重複挿入を避ける

Question

私はフィールドがある一つのテーブルを持っている

： -

1. ID（自動increantal）
2. ヘディング（実際のテキストデータ）
3. フラグ（yesまたはno、いくつかに基づいて他のビジネスロジック）

ここで、私はこの表にpythonを使ってデータを挿入し続けたいと思います。私は、特定のWebページからURLを取得するURLクローラを持っています。問題は、10分ごとに私はこのページを読んで新しいリンクを見ることです。現在の設定では、クローラはURLを渡していますが、挿入していますが、リンクがすでに利用可能であるかどうかを確認したい場合は挿入しないでください。例： -

1am - 10リンクが見つかりました。 2am - 10個のリンクが見つかりました（うち2個は新規）。したがって、Pythonは2つの新しいリンクのみを挿入し、残りの8つのリンクは挿入しないでください。

テーブルライトのサイズは現在10kレコードです。だから私はこの問題を解決するロジックが必要です。助けてください。

Answer 1

リンク列に​​を作成します。

と重複を避けるためにINSERT IGNOREステートメントを使用してください。