非常に遅いInnodbの挿入：空のテーブルの1Kエントリのために65秒。

Question

私のmysqlの挿入が非常に遅いことがわかりました。テストし、実証するために、私は次の表を使用：

+----------+-----------------------------------------------+ 
| Table | Create Table         | 
+----------+-----------------------------------------------+ 
| ik_b64_8 | CREATE TABLE `incr_tbl` (
    `cnt` int(11) NOT NULL, 
    PRIMARY KEY (`cnt`) 
) ENGINE=InnoDB DEFAULT CHARSET=ascii COLLATE=ascii_bin | 
+----------+-----------------------------------------------+ 

とPythonコード：私は空のテーブルの上に、この挿入のみのコードを実行すると

def profile_basic(cnt): 
    db = database.Connection("localhost","testing_delme","root", "") 
    t1 = time.time() 
    for ii in range(cnt): 
     db.execute("INSERT INTO testing_delme.incr_tbl VALUES (%s)", ii) 
    print time.time() - t1 

、それは1Kの挿入のために65秒を消費します。私はinnodb_flush_log_at_trx_commit = 1を持っています。テーブルがデータを失うことができないので、私はそれを必要とします。私の質問は、このセットでは、インサートがとても遅くなることですか？あるいは何か他のものが欠けていますか？

Answer 1

「データを失うことはできません。」それは程度の問題です。フラッシュしないと、データの最後の秒が失われる可能性があります。フラッシュすると、その時に書かれていたものだけを失うかもしれません。あなたは本当にその上に大規模なパフォーマンスのヒットを取るしたいですか？

また、ディスクが壊れた場合は、最後のバックアップ以降のすべてのデータが失われてしまいます。これは長期的には不可避であり、さらに多くのデータが必要になるため、バックアップを頻繁に行うことが心配です。

フラッシングを無効にします。私は、すべてのディスク操作のために、1つのインサートにつき数百ミリ秒ではないにせよ、数十万を簡単に取ると思います。テーブルにいくつかのインデックスを付けることは、それをさらに悪化させるでしょう。

これにもかかわらず、書き込みごとに絶対にフラッシュする必要がある場合は、データベースをSSDに置くとパフォーマンスが大幅に向上します。

Answer 2

1秒あたりのトランザクション数に限界があると思います。それぞれの挿入は個別のトランザクションとして扱われますので、自動コミット・モードにする必要があります。

（1）単一のSQL文で多くの行を挿入し、[OK]をしている：

db.execute("insert into incr_tbl values %s" % ",".join(["(%s)" % i for i in range(xx)])) 

（2）また、あなたが開始することができます：

insert into incr_tbl values (1),(2),(3).... 

Pythonの同等はこのようなものですトランザクションを明示的に指定してください：

db = ...(autocommit=False) 
db.begin_transaction() 
for i in xx: db.execute(... insert i ...) 
db.commit() 

適切なサーバーをお持ちの場合、料金ははるかに高いはずです15秒以上の時間があるので、マシンとmysqlの設定を確認してください。ディスクにコミットして毎回待つ（sqlite）場合でも、コモディティハードドライブで100tx/sにする必要があります。私はデータベースがusbのフラッシュに位置していたときに、この低いレートしか見ていない。もう一つの可能​​な説明は、あなたのpythonがデータベースから非常に遠くにあり、ネットワークの待ち時間がパフォーマンスを殺していることです。この場合、（1）が助けます、（2）はしません。

Answer 3

db.execute()とすると、1つ1つ挿入すると非常に遅くなります。ループを使用してリストを作成し、一括挿入を実行します。すなわち、db.executemany()

def profile_basic(cnt): 
    import mysql.connector, time 
    cnx = mysql.connector.connect("localhost","testing_delme","root", "") 
    db = cnx.cursor() 
    list_ii = [] 
    t1 = time.time() 
    for ii in range(cnt): 
     list_ii.append(ii) 
    # One bulk insert 
    db.executemany("INSERT INTO testing_delme.incr_tbl VALUES (%s)", list_ii) 
    # Don't forget to commit 
    db.commit() 
    print time.time() - t1