10,000,000行のデータベースに最適なストレージエンジン

Question

新しいテーブルを作成するために10,000,000以上の行を持つデータベーステーブルがあります。読書に最適なストレージエンジンは何ですか？

現在、私が使用します。

$sql = "UPDATE `packages_unsorted` SET `acv_return_viadetails` = '0';"; 

その後、レコードを選択する：

$sql = "SELECT * FROM `packages_unsorted` WHERE `acv_return_viadetails` = '0' LIMIT 1000;"; 

私は$ IDSと呼ばれる配列にid主キーを収集し、私はレコードを処理し、にデータを書き込みます各1000行の最後にインポート用のCSVファイル。 私は、その後でacv_return_viadetailsフィールドを更新：上記の表にのみ書き込みがあると私はすべてのフィールドごとの時間を選択すると

$sql = "UPDATE `packages_unsorted` SET `acv_return_viadetails` = '1' WHERE `id` IN ('".implode("','",$ids)."') LIMIT 1000;"; 

。メモリテーブルや他のタイプのストレージエンジンを使用して物事をより速くする必要がありますか？または、私は物事をスピードアップするために導入できる他の最適化はありますか？

また、このような操作のための合理的なmy.cnf構成は何でしょうか。あなたはacv_return_viadetailsフィールドにインデックスを事前に

感謝:)

Answer 1

いくつかの提案を参照してください。）

1）

$sql = "SELECT `id` FROM `packages_unsorted` WHERE `acv_return_viadetails` = '0' LIMIT 1000;"; 

2で

$sql = "SELECT * FROM `packages_unsorted` WHERE `acv_return_viadetails` = '0' LIMIT 1000;"; 

を交換し、一度にすべてのidsをロードすることが可能であるかどうかをチェック1000の制限なし。 10Mのレコードでは、idsをすべてロードするのにわずか数百MBしかかかりません。

$sql = "SELECT `id` FROM `packages_unsorted`"; 

制限値を大きくすることを検討してください。 http://www.mysqlperformanceblog.com

$sql = "SELECT `id` FROM `packages_unsorted` LIMIT 0, 1000;"; 
$sql = "SELECT `id` FROM `packages_unsorted` LIMIT 1000, 1000;"; 
$sql = "SELECT `id` FROM `packages_unsorted` LIMIT 2000, 1000;"; 

Answer 2

を持っていますか？

インポートを高速化しようと思っているなら、私はちょうどC++で300MBのファイルを65sでmysqlにインポートするプログラムを作った。おそらくあなたはそれをあなたのために適応させることができます。

はhttps://github.com/homer6/import-geoip-data