Pythonのビッグリストとデータベースへの入力

Question

HTMLファイルを解析する必要があります。これは最大500000リンクにすることができます。 うち400 000が私によって望まれるでしょう。

新しいリストの条件を満たすすべてのリンクを配置してから、このリストの要素をリンクしてデータベースに配置する必要があります。

また、条件を満たすためのリンクがデータベース（sqlite）に追加する（およびコミットする）場合があります。 大量のコミットは問題ではありませんか？

電源などの障害が発生した場合にデータを失いたくないです。それはなぜ私がデータベースに挿入した後コミットしたい。

データベースに多数のアイテムを配置するにはどうすればよいですか？

Answer 1

だけで、すべての1000年の記録の後にコミットするか、これらの多くのリンクが複数のファイルにまたがっている場合はそう

Answer 2

は、およそ何が各ファイルを処理した後にコミットすることを検討しますか？次に、処理したファイルを覚えています。

単一のファイルの場合は、各コミットの後にクリーン継続のためにファイルオフセットを記録してください。

Answer 3

mongoのようなnoSQLデータベースを使用できます。 mongoでは、6つのフィールドにそれぞれ約15秒（私の古いラップトップで）追加された500.000のドキュメントと、難しいクエリでは約0.023秒を追加します。