巨大なmysqlテーブルの最適化

Question

私はいつも成長している巨大なmysqlテーブルを持っています。チャットデータを記録しています。ユーザ名のクエリがそうでなければ5秒のように取ることができますので、私のテーブルには、ユーザー名をインデックス作成

CREATE TABLE `log` (
    `id` BIGINT(20) NOT NULL AUTO_INCREMENT, 
    `channel` VARCHAR(26) NOT NULL, 
    `timestamp` DATETIME NOT NULL, 
    `username` VARCHAR(25) NOT NULL, 
    `message` TEXT NOT NULL, 
    PRIMARY KEY (`id`), 
    INDEX `username` (`username`) 
) 
COLLATE='latin1_swedish_ci' 
ENGINE=InnoDB 
AUTO_INCREMENT=2582573 
; 

どのように見えるか

これはちょっと重要です。

このテーブルをさらに最適化して、膨大な量のデータを作成する準備ができましたか？ 100m行も問題にならないようにします。

Answer 1

`id` BIGINT(20) NOT NULL AUTO_INCREMENT, 

40億行以上ありますか？そうでない場合は、INT UNSIGNEDを使用して、1行につき4バイトを節約してください。セカンダリインデックスの各行に対してさらに4バイトを追加します。

`channel` VARCHAR(26) NOT NULL, 
`username` VARCHAR(25) NOT NULL, 

ノーマライズ各 - つまり、たとえば、によってSMALLINT UNSIGNEDこれを交換し、それらの間のマッピングを持っています。貯蓄：たくさん。

INDEX `username` (`username`) 

これはuser_idになり、さらに節約できます。

小さい - >よりキャッシュ可能 - >高速。

その他のクエリはありますか？

「メモリ使用量」 - InnoDBの場合、利用可能なRAMの約70％に「innodb_buffer_pool_size」を設定してください。それでは、何が記憶にあるのか、それが何ではないのか心配しましょう。テーブルが大きすぎてキャッシュできない場合は、データを縮小して（他のコメントで述べたように）「良い」インデックスを提供し、「参照の局所性」のテーブルを構成する必要があります。クエリ、私はこれに対処することはできません）。

あなたは文字列の代わりにIDを使用することについて不平を言いました...それを詳しく見てみましょう。別個のユーザー名はいくつありますか？チャンネル？データはどのように入力されますか？一度に1行またはバッチを取得しますか？何かが直接INSERTsをしているか、またはINSERTsを実行しているコードにフィードしていますか？正規化と挿入を行うにはSTORED PROCEDUREがありますか？ 1秒間に何百行も挿入する必要がある場合は、両方を実行する方法について議論し、効率的に実行することができます。

あなたは約PARTITIONsを質問しませんでした。私はではないは簡単な質問usernameのためにそれをお勧めします。

2.5M行は約85パーセンタイルです。 100万行がよりエキサイティングです - 98パーセンタイル。