HyperSQL（HSQLDB）：大容量の挿入パフォーマンス

Question

埋め込み型のHSQLDBに約10万行の平均文字列を約1300万行挿入するアプリケーションがあります。私はバッチサイズ、シングルスレッド/マルチスレッド、キャッシュ/非キャッシュテーブル、MVCCトランザクション、log_size/noログ、checkpointへの通常の呼び出しなど）を調整していますが、それでも16コアで7時間かかります。 12 GBのマシン。

私はHSQLDBを選択しました。これらのコアをすべて使いこなすとかなりのパフォーマンスが得られるかもしれないと思ったので、私は真剣に私の決定を疑い始めました。

誰でも私に銀色の弾丸を見せてもらえますか？

Answer 1

アプリケーションが行っていることを確認してください。まず、タスクマネージャー（またはOS特有の比較可能ファイル）とvisualvmのリソース使用率を調べることです。悪いパフォーマンスをさせるための

良い候補：

• ディスクIO
• ガベージコレクタは

Answer 2

H2DatabaseはあなたにHSQLDB（構文との互換性を維持しながら）よりもわずかに良いパフォーマンスを与える可能性があります。

いずれの場合でも、ランダムアクセスディスクI/Oを減らすために、ディスクとの同期に高い遅延を使用することをお勧めします。 （すなわち、SET WRITE_DELAY <num>）

行ごとに1つの挿入ではなく、バルクINSERTステートメントを実行していることを望みます。そうでない場合は、可能であれば実行してください。

アプリケーションの要件に応じて、RDBMSよりもキー値ストアを使用する方がよい場合があります。 （通常、1.3 * 10^7エントリを挿入する必要がありますか？）

主な制限要因は、ディスクへのランダムアクセス操作です。私は、あなたがやっていることがCPUに縛られていることを非常に疑っています。 topを見てからiotopと比較してください。

Answer 3

非常に多くのレコードがあるので、NoSQL DBへの切り替えを検討することもできます。もちろん、保存する必要があるデータの性質やフォーマットにも依存します。

Answer 4

キャッシュされたテーブルでは、ほとんどの場合、ディスクIOが使用されています。同じテーブルに挿入するため、複数のスレッドは必要ありません。パフォーマンスを顕著に向上させる1つのことは、パラメータ化されたPreparedStatmentを1つずつ再利用して、各行挿入のパラメータを設定することです。

マシン上では、メモリマップされたIOに大きなNIO制限を使用することで、IOを大幅に改善できます。例えば、SET FILES NIO SIZE 8192。 64ビットJVMは、より大きなサイズが効果を発揮するために必要です。

http://hsqldb.org/doc/2.0/guide/management-chapt.html

一括挿入使用SET FILES LOG FALSEの期間IOを低減し、インサートの最後までチェックポイントを実行しないでください。詳細はここで説明されています

http://hsqldb.org/doc/2.0/guide/deployment-chapt.html#dec_bulk_operations

UPDATE：挿入テストを16以下万行で1.9ギガバイト.dataのファイルをもたらし、平均2コアプロセッサと7200 RPMディスクにわずか数分かかりました。鍵は大きなNIO割り当てです。

connection time -- 47 
complete setup time -- 78 ms 
insert time for 16384000 rows -- 384610 ms -- 42598 tps 
shutdown time -- 38109