PythonでSQL Serverにテキストファイルをインポートする

Question

私は、テキストファイルの処理を行うpythonスクリプトを作成しています。そのプロセスの一環として、タブ区切りファイルの各行をローカルのMS SQL Server（2008）テーブルにインポートする必要があります。私はpyodbcを使用しており、私はこれを行う方法を知っています。しかし、私はそれを実行するための最良の方法について質問があります。

ファイルの各行に対してcursor.execute（myInsertSQL）を作成してループします。すべてのレコードがループされるまで（つまり、ループの後にcommit（）を実行し、個々の実行後にループ内にはない）まで、ステートメントをコミットするのを待っている問題は誰にも見えますか？私が尋ねる理由は、いくつかのファイルには5000行以上のファイルがあるということです。私は "それらを保存する"と一度にすべての5000をコミットしようとすると問題を引き起こすかどうかはわかりませんでした。

私はかなり新しいpythonです。だから私はまだこれらの問題のすべてを知っていません。

ありがとうございました。

Answer 1

あなたがしていることを理解していれば、Pythonは問題になることはありません。トランザクション内で文を実行しても、Pythonでは累積状態は作成されません。これは、データベースサーバー自体でのみ実行されます。

コミット時に、大量のバッチ・コミットを行うと、データベース内の変更が中断される可能性があるため、コミットが発生したことを確認する必要があります。コミットが失敗した場合は、再度バッチを再実行する必要があります。

のみ、私は大きなバッチとの認識しています問題やPython/ODBCだ（とあなたは関係なく、その問題を持っているであろうから、それは、でも本当にPythonの問題ではない。）今

、あなたがすべて作成された場合SQLをメモリに格納してからメモリ表現をループすると、それが意味をなさなくなります。それでも、現代のマシン上の5000行のテキストは、それほど大きな問題ではありません。 2桁以上処理する必要がある場合は、プロセスを再考する必要があります。

Answer 2

ファイルを作成し、BULK INSER Tを使用します。これは高速になります。